<<
>>

4.4. Нелинейная регрессия

Предположим, вы считаете, что переменная /связана с переменной А'стг дующим соотношением:

K = p1+p2JTPj+M, (4.52.

и вы хотите получить оценки (3,, (32 и р3, имея значения Yи X.

Уравнение (4.32» не может быть преобразовано в уравнение линейного вида, поэтому в эт:н случае невозможно применение обычной процедуры оценивания регресс*-♦ Тем не менее, для получения оценок параметров мы по-прежнему можем при­менить принцип минимизации суммы квадратов отклонений. Ниже булг рассмотрен алгоритм для оценивания нелинейной регрессии, который и: пользует данный принцип. Алгоритм состоит из ряда повторяющихся шагоЕ

1. Принимаются некоторые правдоподобные исходные значения парамг ров.

2. Вычисляются предсказанные значения К по фактическим значениям I с использованием этих значений параметров.

3. Вычисляются остатки для всех наблюдений в выборке и, следовательно RSS, т.е. сумма квадратов остатков.

4. Вносятся небольшие изменения в одну или более оценок параметров

5.

Вычисляются новые предсказанные значения Y, остатки и S.

6. Если RSS меньше, чем прежде, то новые оценки параметров лучше пр: жних, и их следует использовать в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невс> можным внести такие изменения в оценки параметров, которые привели бь» i уменьшению RSS.

8. Делается вывод о том, что величина RSS минимизирована, и конечны оценки параметров являются оценками по методу наименьших квадратов.

Пример

Вернемся к примеру с бананами, рассмотренному в разделе 4.1, где Y и ) связаны следующей зависимостью:

уяр1+Ь- + и. (4.331

Для большей простоты предположим, что мы знаем, что Р, = 12; следом тельно, нам нужно определить только один неизвестный параметр.

Предп:- ложим, мы поняли, что зависимость имеет вид (4.33), однако не можем дога­даться, что следует применить преобразования, рассмотренные в разделе 4.1. Вместо этого мы применяем нелинейную регрессию.

На рис. 4.10 показаны значения ЯЯЯ, которые будут получены при разном возможном выборе Ь2 при значениях У и X, приведенных в табл. 4.1. Предпо­ложим, что мы начнем, приняв Ь2 равным —6,0. Наше уравнение при этом примет вид

У = 12-—. (4.34)

X

Вычислим предсказанные значения У и остатки, и на основании послед­них рассчитаем значение 29,17. Затем подставим Ь2 = -7. Теперь величи­на /Жравна 18,08, т.е. она уменьшилась. Значит, мы движемся в правильном направлении. Подставим Ь2 = -8; тогда = 10,08. Продолжим дальше. При Ь2 = -9 величина равна 5,19; при Ъ2 — -10 3,39; при Ь2 — ~ 11 величи­на Ш = 4,70.

Очевидно, что выбрав Ъ2 = -11, мы перестарались, так как значение ЛХУ вновь начало расти. Будем двигаться назад, но более мелкими шагами; напри­мер, по 0,1, беря значения -10,9, -10,8 и т.д. Будем продолжать движение на­зад до тех пор, пока опять не будет «перебора», затем вновь начнем двигаться вперед еще более мелкими шагами (например, равными 0,01). Каждый раз, когда будет наблюдаться «перебор», будем изменять направление на противо­положное, сокращая размеры шага. Будем продолжать делать это до тех пор, пока не достигнем требуемой точности вычисления оценки р2. Последова­тельность шагов для данного примера показана в табл. 4.6.

Рисунок 4.10. Сумма квадратов отклонений ЯББ как функция Ь2 в модели нелинейной

регрессии

ь2 ЯБв Ь2 ь2 ЯБЗ Ь2 явя
-6 29,17 -10,8 4,19 -10,1 3,38 -10,06 3,384
-7 18,08 -10,7 3,98 -10,0 3,393 -10,07 3,384
-8 10,08 -10,6 3,80 -10,01 3,391 -10,08 3,383
-9 5,19 -10,5 3,66 -10,02 3,389 -10,09 3,384
-10 3,39 -10,4 3,54 -10,03 3,387
-11 4,70 -10,3 3,46 -10,04 3,386
-10,9 4,43 -10,2 3,41 -10,05 3,385

Процесс, показанный в табл. 4.6, был прекращен после 25 итераций, к это му времени стало очевидно, ЧТО оценка, С ТОЧНОСТЬЮ ДО двух десятичных ЗН; ков, равна —10,08.

Очевидно, что в результате продолжения итерационно:: процесса могла бы быть получена более высокая точность.

Заметим, что полученная оценка не совпадает в точности с оценкой, пол\ ченной для уравнения (4.9), которая равнялась -10,99. В принципе оба наборг результатов должны быть одинаковыми, так как они оба минимизируют суу му квадратов отклонений. Расхождение вызвано тем, что мы были не совсе». честны в нелинейном случае. Мы предположили, что Р, равно истинному зт чению 12, а не оценили его. Если бы мы действительно не смогли найти пре образование, которое позволяет использовать линейный регрессионный ань лиз, то нам пришлось бы использовать нелинейный метод и искать наилуч­шие значения Ь] и Ь2 одновременно, и тогда мы получили бы оценку Ь], равнук 12,48, и оценку Ь2, равную -10,99, как и в уравнении (4.9).

На практике алгоритмы, используемые для минимизации суммы квадра­тов отклонений в нелинейной модели, с математической точки зрения явля­ются значительно более сложными по сравнению с тем простым методом прс«-' и ошибок, который описан выше. Тем не менее, до весьма недавнего времен» основной недостаток нелинейной регрессии состоял в том, что она оценива­лась значительно медленнее, чем линейная регрессия, особенно в том случае когда приходилось оценивать несколько параметров, и высокая стоимост* компьютерных расчетов служила тормозом для применения нелинейной ре грессии. Ситуация изменилась благодаря росту мощности и быстродействия компьютеров. Вследствие этого к нелинейным методам стал проявляться больший интерес, и сейчас существует «дружественное к пользователю» про­граммное обеспечение, включающее нелинейные регрессионные приложе­ния.

<< | >>
Источник: Доугерти К.. Введение в эконометрику: Учебник. 3-е изд. / Пер. с англ. — М.: ИНФРА-М, — XIV, 465 с. — (Университетский учебник).. 2009

Еще по теме 4.4. Нелинейная регрессия:

  1. 5.3. Множественная регрессия в нелинейных моделях
  2. 4.4. Нелинейная регрессия
  3. 3. Остаточная стоимость при нелинейном методе амортизации
  4. Порядок расчета сумм амортизации при нелинейном методе начисления амортизации
  5. 4.3.5. Порядок расчета сумм амортизации при нелинейном методе начисления амортизации
  6. § 2. Нелинейный характер социального развития и проблема социального прогресса
  7. Потенциальные ошибки регрессии
  8. S 16.9. РЕГРЕССИЯ И Excel
  9. 3.3. Свойства коэффициентов множественной регрессии
  10. 2.6. Интерпретация уравнения регрессии
  11. Интерпретация уравнения регрессии
  12. 3.2. Вывод и интерпретация коэффициентов множественной регрессии
  13. 5.4. Свойства коэффициентов множественной регрессии
  14. 1.1.Модель парной линейной регрессии
  15. 2.3. Случайные составляющие коэффициентов регрессии
  16. 2.2. Регрессия по методу наименьших квадратов
  17. § 16.1. ПРОСТАЯ МОДЕЛЬ ЛИНЕЙНОЙ РЕГРЕССИИ
  18. 5.2. Вывод и интерпретация коэффициентов множественной регрессии
  19. 3.1. Случайные составляющие коэффициентов регрессии