<<
>>

3.3. Свойства коэффициентов множественной регрессии

Как и в случае парного регрессионного анализа, коэффициенты регрессии должны рассматриваться как случайные переменные специального вида, слу­чайные компоненты которых обусловлены наличием в модели случайного чле­на. Каждый коэффициент регрессии вычисляется как функция значений Y и независимых переменных в выборке, а У, в свою очередь, определяется незави­симыми переменными и случайным членом. Отсюда следует, что коэффици­енты регрессии действительно определяются значениями независимых пере­менных и случайным членом, а их свойства существенно зависят от свойств последнего.

Мы продолжаем работать в рамках модели А, где независимые переменные являются нестохастическими. Введем следующие шесть предположений, ко­торые являются переформулированными предпосылками из гл. 2 в терминах, соответствующих модели множественной регрессии.

А.1. Модель линейна по параметрам и имеет верную спецификацию.

Г = р1+р2ДГ2+... + М*+«- (3.21)

Предположение то же, что и раньше, за исключением наличия нескольких независимых переменных.

А. 2. Нет точной линейной связи между регрессорами в выборке. Это единственное предположение, нуждающееся в пояснении. Оно будет рассмотрено в разделе 3.4, где речь пойдет о мультиколлинеарности. Предположения А.З-А.6 — точно такие же, как и раньше. А.З. Математическое ожидание случайного члена равно нулю.

Е(и,.) = 0 для всех /. (3.22)

А.4. Случайный член гомоскедастичен.

(3.28)

применив предположение А.З.

Эффективность

Теорема Гаусса-Маркова утверждает, что во множественном регрессион­ном анализе, как и для парной регрессии, обычный метод наименьших квадра­тов (МНК) дает наиболее эффективные линейные оценки в том смысле, что при выполнении предположений модели регрессии невозможно найти другие несмещенные оценки с меньшими дисперсиями на основе данной выборки. Мы не будем приводить доказательство этой теоремы, поскольку для этого была бы необходима матричная алгебра.

Ъ*тюсть коэффициентов множественной регрессии

Далее мы рассмотрим факторы, определяющие ожидаемую точность коэф­фициентов регрессии для случая двух объясняющих переменных. Аналогич­ные рассуждения применимы и в более общем случае, но при более чем двух переменных необходим переход к матричной алгебре. Если истинная зависи­мость имеет вид

= + ++ (3-29)

и вы оценили уравнение регрессии

УГЬ{2Х21 + Ь3Хз-, (3.30)

использовав необходимые данные, то с2ь — теоретическая дисперсия вероят­ностного распределения для Ь2 — будет описываться выражением:

1(х2,-Х2)2 /=1

где ац2 — теоретическая дисперсия величины и; гх х^ - коэффициент корреля­ции между Х1 и Х2. Аналогичное выражение можно получить и для теоретиче­ской дисперсии величины Ь3, заменив ^(Х2, -Х2) на • Запи­сав (3.31) в виде

<
(3.32)
2

х,хх

х-

пШи(Х2) 1-г,

где МБ ОСЛу — среднее квадратическое отклонение Х2, определяемое форм;.

1 — 2

лой - ^Г [х21 - Х2) , мы можем увидеть, что так же, как и в случае парного ре: рессионного анализа, желательно, чтобы п и М80(Х2) были болыдйми, а а; - малым. Однако теперь присутствует еще и член (1 - г"х2х,)- Очевидно, что жел* тельно иметь слабую корреляцию между Х2 и Ху

Этому легко дать интуитивное объяснение. Чем выше корреляция, теп сложнее определить влияние каждой из объясняющих переменных на У и те* менее точными будут оценки коэффициентов регрессии. Это может стать серь­езной проблемой, которую мы будем обсуждать в следующем подразделе.

Стандартное отклонение распределения Ъ2 представляет собой квадратны! корень из дисперсии. Как и в случае парной регрессии, стандартная ошиб*- Ь2 — оценка стандартного отклонения. Оценим а2. Выборочное среднее ква: ратов отклонений дает смещенную оценку:

п 7
/=I

(3.331

где к — число параметров в уравнении регрессии. Тем не менее, мы може* получить несмещенную оценку разделив на п - к, вместо п, таким образен ликвидировав смещение:

1 "

и /

(3.34
с.о.(Ь2) =
(3.35»
- \2 1 - Г
Факторы, определяющие стандартную ошибку, будут проиллюстрирован* путем сравнения их для функций заработка, оцененных для двух подмножес* I респондентов в наборе данных ЕАЕПХ, — тех, кто сообщил, что уровень ю заработной платы был установлен на основе переговоров о заключении коз лективного трудового договора, и остальных. Результаты оценивания регрес сии для этих двух подмножеств респондентов показаны в табл. 3.3 и 3.4. В пр:- грамме 51а1а подмножества наблюдений могут быть определены путем добав­ления выражения вором и нулю — для остальных. Отметим, что при проверке выполнения рь венства в программе 81а1а требуется повторить дважды знак равенства «=».

Стандартная ошибка коэффициента при 5 в первой регрессии равна 0,549? что в два раза больше, чем во второй регрессии, — 0,2604. Далее мы рассмсг

Стандартная ошибка представлена выражением

рим причины этой разницы. Выражение (3.35) удобно переписать таким обра­зом, чтобы был выделен вклад в него различных факторов:

1
1
(3.36)

с.о.{b2) = su х —j= х

4~п JMSD(X2) f^J-

Первый из необходимых нам элементов (яи) может быть получен непосред­ственно из распечатки результатов оценивания регрессии.

Величина ^ равна сумме квадратов остатков, деленной на (п - к), т.е. здесь — на (п- 3):

1
(3.37)
RSS.
п-к

п-к 1

/=1

(Заметим, что ёравняется нулю, что было доказано во Вставке 1.2 в гл. 1, и это доказательство легко можно обобщить.) Величина RSS приведена в верх­ней левой четверти распечатки результатов оценивания регрессии как часть разложения общей суммы квадратов отклонений на объясненную сумму квад­ратов отклонений (в распечатке программы Stata она обозначена как сумма квадратов отклонений модели (model sum of squares)) и остаточную сумму квад­ратов. Величина п-к дана справа от RSS, и отношение RSS/{n -к) — еще пра-

Таблица 3.3
nç EARNINGS S EXP if COLLBARG==1
Source SS df MS Number of obs =

F(2,98)

Prob > F

R-squared = Adj R-squared = Root MSE

101

9.72

0.0001

0.1656

0.1486

12.577

Model ^sidual 3076.31726 15501.9762 2 98 1538.15863 158.18343
Total 18578.2934 100 185.782934
URNINGS Coef. Std. Err. t P>|t| [95% Conf. Interval]
S 2.333846 .5492604 4.25 0.000 1.243857 3.423836
EXP .2235095 .3389455 0.66 0.511 -.4491169 .8961358
_cons -15.12427 11.38141 -1.33 0.187 -37.71031 7.461779
Таблица 3.4
EARNINGS S EXP if COLLBARG==0
Source SS df MS Number of obs = F(2,436) Prob > F R-squared Adj R-squared = Root MSE 439 57.77 0.0000 0.2095 0.2058 13.005
Model =esidual 19540.1761 73741.593 2

436

9770.08805 169.132094
Total 93281.7691 438 212.972076
EARNINGS Coef. Std. Err. t P>|t| [95% Conf. Interval]
S 2.721698 .2604411 10.45 0.000 2.209822 3.233574
EXP .6077342 .1400846 4.34 0.000 .3324091 .8830592
_cons -28.00805 4.643211 -6.03 0.000 -37.13391 -18.88219

вее. Квадратный корень 0?м) обозначен как Root MSE («корень среднеквадра- тнческой ошибки») в верхней правой четверти распечатки результатов, эт: 12,577 — для регрессии по подвыборке с коллективным договором и 13,005 - для регрессии по подвыборке без коллективного договора.

Число наблюдений — 101 для первой регрессии и 439 для второй — так*.: приведено в верхней правой четверти распечатки результатов. Дисперсии 5 равные 6,2325 и 5,6, рассчитаны как квадраты стандартных отклонений, полу ченные при помощи команды «sum» в программе Stata, умноженные Hi (п - 1 )/п. Коэффициенты корреляции между S и ASVABC, равные -0,4087 » -0,1784 соответственно, были рассчитаны с помощью команды «cor» nporpav мы Stata. На основе этого были рассчитаны множители из выражения дл* стандартной ошибки (3.36), которые показаны в нижней половине табл. 3.5.

Можно заметить, что причина того, что стандартная ошибка коэффициент« при S для подвыборки С В относительно велика, состоит в том, что число на­блюдений в этом подмножестве относительно мало. Больший коэффициент корреляции между S и ЕХР увеличивает разницу в результатах; в то время Kai меньшее значение su и большее значение MSD(S) уменьшает ее, но это доста точно незначительные множители.

Таблица 3.5. Разложение стандартной ошибки коэффициента при Б на составляющие

su
с. о.

MSD(S) rS,EXP

Составляющая

Коллективный договор 12,577 101 6,2325 -0,4087 0,5493

Нет коллективного договора 13,005 439 5,8666 -0,1784 0,2604 Множитель

Коллективный договор 12,577 0,0995 0,4006 1,0957 0,5493

Нет коллективного договора 13,005 0,0477 0,4129 1,0163 0,2603

тесты и доверительные интервалы

/-тесты для коэффициентов множественной регрессии выполняются тал же, как это делается в парном регрессионном анализе. Отметим, что крити ческий уровень / при любом уровне значимости зависит от числа степене» свободы, которое равно п - к: число наблюдений минус число оцененных па­раметров. Доверительные интервалы определяются точно так же, как и в пар­ном регрессионном анализе, в соответствии с указанным примечанием отно­сительно числа степеней свободы. Как можно видеть по распечатке результа тов, 51а1а автоматически рассчитывает доверительные интервалы коэффициентов (95% по умолчанию; при желании могут быть заданы и др>- гие значения), но это не является стандартным свойством регрессионных па кетов.

*ъажнения

11. Выполните /-тесты для коэффициентов при переменных в функции продолжи­тельности обучения, рассмотренной в упражнении 3.1.

Выполните /-тесты для коэффициентов при переменных в функции продолжи­тельности обучения и в функции заработка, оцененных вами в упражнениях 3.2 и 3.3.

VJ. Следующие функции заработка были оценены отдельно для мужчин и женщин на основе набора данных EAEF21 (в скобках приведены стандартные ошибки):

мужчины

EARNINGS = -31,5168 + 3,1408 S+ 0,6453 EXP, (7,8708) (0,3693) (0,2382)

женщины

EARNINGS = -17,2028 + 2,0772 S+ 0,3179 EXP.

(4,5797) (0,2805) (0,1388) Воспользовавшись соотношением (3.36), объясните, почему стандартные ошиб­ки коэффициентов при Svi EXP больше для выборки, состоящей из мужчин, чем для выборки, состоящей из женщин, и почему разница в стандартных ошибках относительно велика для переменной ЕХР.

Дополнительные данные:

мужчины женщины

su 14,278 10,548

п 270 270

rSEXp -0,4029 -0,0632

MSD(S) 6,6080 5,2573

MSD (EXP) 15,8858 21,4628

Докажите, что в модели множественной регрессии е равно нулю. (Замечание. Доказательство является обобщением доказательства для модели парной регрес­сии, приведенного во Вставке 1.2 в разделе 1.7.)

1 и Выясните, можно ли расширить круг определяющих факторов в модели опреде­ления веса на основе вашего набора данных ЕАЕЕ, взяв WEIGHT02 в качестве зависимой переменной, и HEIGHT и другие непрерывные переменные из набора данных как объясняющие переменные. Дайте интерпретацию коэффициентов и выполните для них /-тесты.

<< | >>
Источник: Доугерти К.. Введение в эконометрику: Учебник. 3-е изд. / Пер. с англ. — М.: ИНФРА-М, — XIV, 465 с. — (Университетский учебник).. 2009

Еще по теме 3.3. Свойства коэффициентов множественной регрессии:

  1. 5.4. Свойства коэффициентов множественной регрессии
  2. 3.2. Вывод и интерпретация коэффициентов множественной регрессии
  3. 5.2. Вывод и интерпретация коэффициентов множественной регрессии
  4. 8.2. Свойства оценок коэффициентов регрессии по МНК в случае конечной выборки
  5. 3. СВОЙСТВА КОЭФФИЦИЕНТОВ РЕГРЕССИИ И ПРОВЕРКА ГИПОТЕ
  6. 2.СВОЙСТВА КОЭФФИЦИЕНТОВ РЕГРЕССИИ И ПРОВЕРКА ГИПОТЕЗ
  7. 5.3. Множественная регрессия в нелинейных моделях
  8. 2.3. Случайные составляющие коэффициентов регрессии
  9. 3.1. Случайные составляющие коэффициентов регрессии
  10. Несмещенность коэффициентов регрессии