<<
>>

1.2. Регрессия методом наименьших квадратов

Допустим, что вы имеете четыре наблюдения для Хи V, представленные на рис. 1.1, и перед вами поставлена задача получить оценки значений р1 и р2 в уравнении (1.1).
В качестве грубой аппроксимации вы можете сделать это, от­ложив четыре точки Р и построив прямую, в наибольшей степени соответ­ствующую этим точкам. Это сделано на рис. 1.2. Отрезок, отсекаемый прямой

Рисунок 1.2. Оцененная регрессионная прямая

на оси У, представляет собой оценку рр он обозначен Ь{, а угловой коэффици­ент прямой представляет собой оценку коэффициента наклона р2, он обозна­чен как Ь2. Прямая, называемая оцениваемой моделью, описывается как

Г1х+Ь2Х.г (1.2)

где шляпка над У означает, что это оцененное значение У в зависимости от X, а не истинное его значение.

На рис. 1.3 оцененные, или «теоретические», точ­ки представлены как - /?4.

С самого начала необходимо признать, что вы никогда не сможете опреде­лить истинные значения (31 и (32 при попытке определить положение искомой прямой. Можно получить только оценки, и они могут быть хорошими или плохими. Иногда ваши оценки могут быть абсолютно точными, но это воз­можно лишь в результате случайного совпадения, и даже в этом случае у вас не будет способа узнать, что ваши оценки абсолютно точны.

Рисунок 1.3. Оцененная по точкам наблюдений линия регрессии (показаны также остатки)

Это справедливо и при использовании более совершенных методов.

По­строение линии регрессии на глаз является достаточно субъективным. Более того, как мы увидим в дальнейшем, оно просто невозможно, если перемен­ная ^зависит не от одной, а от двух или более независимых переменных. Воз­никает вопрос: существует ли способ достаточно точной оценки р, и Р2 алгеб­раическим путем?

В качестве первого шага нужно определить, что понимается под остатком для каждого наблюдения. Это разность между действительной величиной К в соответствующем наблюдении и расчетным значением по уравнению регрес­сии, то есть расстояние по вертикали между Р. и Rt в наблюдении /. Оно будет обозначаться как е..

e^K-Y, (1.3)

Остатки для четырех наблюдений показаны на рис. 1.3. Подставив (1.2) в (1.3), мы получим

e = Y-bl-b2Xli (1.4)

и, значит, остаток в каждом наблюдении зависит от нашего выбора значений Ьх и Ь2. Очевидно, мы хотим построить линию регрессии, то есть выбрать значения b, и Ь2 таким образом, чтобы эти остатки были минимальными. Очевидно также, что линия, хорошо соответствующая одним наблюдениям, не будет соответствовать другим, и наоборот. Необходимо выбрать какой-то критерий подбора, который будет одновременно учитывать величину всех остатков.

Существует целый ряд возможных критериев, одни из которых работают лучше других. Например, бесполезно минимизировать сумму остатков. Сум­ма будет автоматически равна_нулю, если вы сделаете b] = Ynb2- О, получив горизонтальную линию Y = Y. В этом случае положительные остатки точно уравновесят отрицательные, но, несмотря на это, данная прямая не соответ­ствует точкам наблюдений.

Один из способов решения поставленной проблемы состоит в минимиза­ции RSS (residual sum of squares), суммы квадратов остатков. Для рис. 1.3 спра­ведлива формула

RSS = el+e\+el+eI ' (1.5)

В соответствии с этим критерием, чем меньше RSS, тем больше соответ­ствие. Если RSS равно нулю, то получено абсолютно точное соответствие, так как это означает, что все остатки равны нулю. В этом случае линия будет про­ходить через все точки, однако, вообще говоря, это невозможно из-за наличия случайного члена.

Существуют и другие достаточно разумные решения, однако при выполне­нии определенных условий метод наименьших квадратов дает несмещенные и эффективные оценки Ь} и Ь2. По этой причине метод наименьших квадратов является наиболее популярным при использовании методов регрессионного анализа в относительно простых приложениях. В данной работе рассматрива­ется обычный метод наименьших квадратов (МНК, или OLS — ordinary least

щллге5). В последующих разделах будут рассмотрены другие его варианты, ко- - сые могут быть использованы для решения некоторых специальных про­блем.

<< | >>
Источник: Доугерти К.. Введение в эконометрику: Учебник. 3-е изд. / Пер. с англ. — М.: ИНФРА-М, — XIV, 465 с. — (Университетский учебник).. 2009

Еще по теме 1.2. Регрессия методом наименьших квадратов:

  1. 2.2. Регрессия по методу наименьших квадратов
  2. 2.3. Регрессия по методу наименьших квадратов: два примера
  3. Регрессия методом наименьших квадратов: два примера
  4. Регрессия методом наименьших квадратов с одной независимой переменной
  5. 2.5. Регрессия по методу наименьших квадратов с одной независимой переменной
  6. 11.7. Двухшаговый метод наименьших квадратов (ДМНК)
  7. 11.3. Косвенный метод наименьших квадратов (КМНК)
  8. ФИЛОСОФИЯ жизни В ПЕРВОМ КВАДРАТЕ
  9. ТРЕТИЙ КВАДРАТ. МАНИПУЛЯЦИЯ
  10. А 9 . Сложить квадрат
  11. ВТОРОЙ КВАДРАТ. КОНФЛИКТ
  12. 4.4. Нелинейная регрессия
  13. Помощь в квадрате
  14. ЧЕТВЕРТЫЙ КВАДРАТ. ВОЗРАЖЕНИЯ
  15. 1.1.Модель парной линейной регрессии
  16. 4.4. Нелинейная регрессия