<<
>>

2.2. Регрессия по методу наименьших квадратов

Допустим, что вы имеете четыре наблюдения для х и .у, представленные на рис. 2.1, и перед вами поставлена задача — определить значения а и р в урав­нении (2.1). В качестве грубой аппроксимации вы можете сделать это, отложив четыре точки Р и построив прямую, в наибольшей степени соответствующую этим точкам.
Это сделано на рис. 2.2. Отрезок, отсекаемый прямой на оси у, представляет собой оценку а и обозначен а, а угловой коэффициент прямой представляет собой оценку р и обозначен Ъ.

С самого начала необходимо признать, что вы никогда не сможете рассчи­тать истинные значения аир при попытке построить прямую и определить по­ложение линии регрессии. Вы можете получить только оценки, и они могут быть хорошими или плохими. Иногда оценки могут быть абсолютно точными, но это возможно лишь в результате случайного совпадения, и даже в этом случае у вас не будет способа узнать, что оценки абсолютно точны.

Это справедливо и при использовании более совершенных методов. Постро­ение линии регрессии на глаз является достаточно субъективным.

Более того, как мы увидим в дальнейшем, это просто невозможно, если переменная у за­висит не от одной, а от двух или более независимых переменных. Возникает вопрос: существует ли способ достаточно точной оценки а и р алгебраическим путем?

Рис. 2.2. Прямая, построенная по точкам

Первым шагом является определение остатка для каждого наблюдения. За исключением случаев чистого совпадения, построенная вами линия регрессии не пройдет точно ни через одну точку наблюдения. Например, на рис. 2.3 при х = х1 соответствующей ему точкой на линии регрессии будет Л1 со значением у, которое мы обозначим вместо фактически наблюдаемого значения у{.

Ве­личина ^ описывается как расчетное значение >>, соответствующеех,. Разность между фактическим и расчетным значениями (ух — определяемая отрезком Р|Лр описывается как остаток в первом наблюдении. Обозначим его ег Соот­ветственно, для других наблюдений остатки будут обозначены как е2, е3 и е4.

Очевидно, что мы хотим построить линию регрессии таким образом, чтобы эти остатки были минимальными. Очевидно также, что линия, строго соответ­ствующая одним наблюдениям, не будет соответствовать другим, и наоборот. Необходимо выбрать какой-то критерий подбора, который будет одновре­менно учитывать величину всех остатков.

Существует целый ряд возможных критериев, одни из которых «работа­ют» лучше других. Например, бесполезно минимизировать сумму остатков. Сумма будет автоматически равна нулю, если вы сделаете а равным у, ар

равным нулю, получив горизонтальную линию у = у. В этом случае положи­тельные остатки точно уравновесят отрицательные, но строгой зависимости при этом не будет.

Один из способов решения поставленной проблемы состоит в минимизации суммы квадратов остатков 5. Для рис. 2.3 верно такое соотношение:

с 2 2 2 2 и ^

^ = е\ + е2 + е3 + е4 •

Рис. 2.3. Построенная по точкам линия регрессии, показывающая остатки

Величина S будет зависеть от выбора а и Ь, так как они определяют положе­ние линии регрессии. В соответствии с этим критерием, чем меньше S, тем строже соответствие. Если S= О, то получено абсолютно точное соответствие, так как это означает, что все остатки равны нулю. В этом случае линия регрессии будет проходить через все точки, однако, вообще говоря, это невозможно из-за на­личия случайного члена.

Существуют и другие достаточно разумные решения, однако при выполне­нии определенных условий метод наименьших квадратов дает несмещенные и эффективные оценки а и р. По этой причине метод наименьших квадратов яв­ляется наиболее популярным в вводном курсе регрессионного анализа. В дан­ной работе рассматривается обычный метод наименьших квадратов (МНК, или OLS — ordinary least squares). В последующих разделах будут рассмотрены дру­гие его варианты, которые могут быть использованы для решения некоторых специальных проблем.

<< | >>
Источник: Доугерти К.. Введение в эконометрику: Пер. с англ. — M.: ИНФРА-М, — XIV, 402 с.. 1999

Еще по теме 2.2. Регрессия по методу наименьших квадратов:

  1. 2.3. Регрессия по методу наименьших квадратов: два примера
  2. 1.2. Регрессия методом наименьших квадратов
  3. Регрессия методом наименьших квадратов: два примера
  4. Регрессия методом наименьших квадратов с одной независимой переменной
  5. 2.5. Регрессия по методу наименьших квадратов с одной независимой переменной
  6. 11.7. Двухшаговый метод наименьших квадратов (ДМНК)
  7. 11.3. Косвенный метод наименьших квадратов (КМНК)
  8. ФИЛОСОФИЯ жизни В ПЕРВОМ КВАДРАТЕ
  9. ТРЕТИЙ КВАДРАТ. МАНИПУЛЯЦИЯ
  10. А 9 . Сложить квадрат
  11. ВТОРОЙ КВАДРАТ. КОНФЛИКТ
  12. 4.4. Нелинейная регрессия
  13. Помощь в квадрате
  14. ЧЕТВЕРТЫЙ КВАДРАТ. ВОЗРАЖЕНИЯ