<<
>>

2.6. Точность коэффициентов регрессии

Рассмотрим теперь коэффициенты а2ь и с2ь , теоретические дисперсии оце­нок Ьх и Ь2, относительно их теоретических средних.
Они задаются следующи­ми выражениями:

2 2

i Р ^ ~2

и о\=~ ■ (2.38)

" ш-х)'
/=1

IM2

/=1

Вывод выражения cj приведен во Вставке 2.3. Вывод выражения для с: выполняется аналогично, и потому он оставлен для самостоятельного упраж­нения.

Мы сфокусируем наше внимание на следствиях выражения для а^. Оче­видно, чем больше ^[Xj -Х} , тем меньше дисперсия Ь2.

Однако величина ^ (Xj - X^j зависит от двух факторов: количества наблюдений и величин от­клонений Xi от среднего в выборке. Чтобы разделить эти факторы, удобно определить среднее квадратическое отклонение X, обозначаемое как MSDfA) (mean squared deviation):

1 n — 2

MSD(*) = -X) . (2.39)

П i=I

Используя это выражение, запишем о2ь так:

. а2

G2 =-------- ^-------- . (2.40)

ь> п MSD(J)

Тогда очевидно, что дисперсия Ь2 обратно пропорциональна числу наблю­дений в выборке при фиксированном среднем квадратическом отклонении. Это представляется логичным: чем больше у вас информации, тем более точ­ные оценки вы можете получить.

Щставка 23. Вывод формулы для теоретической дисперсии Ь2

По определению,

поскольку мы показали, что Е(Ь2) = р2.

Мы видели, что

^=02+Xе/«/'. і-1

где

(Х.-Х)

п ~

я*,-*)

м

Следовательно,

)

Раскрывая квадратичные выражения, получим

[м /=1 I 1=1 1=1 у*/

Теперь, с учетом предпосылки (А.4), Е(иг) - о2ц, а с учетом предпосылки (А.5) — Дя^) =. О для у * /. Итак, мы получаем

воспользовавшись вторым свойством коэффициентов а,., доказанным во Встав­ке 2.2.

Также очевидно, что дисперсия Ь2 пропорциональна дисперсии случайно­го члена. Чем больше дисперсия случайного члена в зависимости, тем хуже, скорее всего, будут оценки при прочих равных условиях. Это проиллюстриро­вано графически на рис. 2.4а и 2.46. На обоих графиках нестохастическая часть зависимости между У и X, показанная пунктирной линией, задана как

у;.=з,о + о,8л;.. (з.4і>

Имеются 20 наблюдений, в которых величины X — натуральные числа от 1 до 20. Одни и те же случайные числа были использованы при генерировании значений случайного члена, но те, которые отражены на рис. 2 Ад, были умно­

жены на 5. Как следствие этого, линия регрессии, показанная жирной лини­ей, дает намного худшую аппроксимацию нестохастической зависимости ні рис. 2.4Ь, чем на рис. 2.4а.

Из выражения (2.40) ясно, что дисперсии Ь2 обратно пропорциональны среднему квадратическому отклонению X. В чем причина этого? Напомним 1) коэффициенты регрессии вычисляются на основании предположения, что наблюдаемые изменения в ^происходят вследствие изменений в А", но 2) в дей­ствительности они лишь отчасти вызваны изменениями в X, а отчасти вариа­циями в и. Чем меньше дисперсия X, обобщенные в среднем квадратическоу отклонении, тем больше, вероятно, будет относительное влияние фактора случайности при определении отклонений в Уи тем более вероятно, что рег­рессионный анализ даст неточные результаты. Это показано на рис. 2.5а и 2.5Ь. Нестохастическая составляющая соотношений задана формулой (2.41). причем случайные члены в них идентичны. На рис. 2.5а значениями X явля­ются натуральные числа от 1 до 20.

На рис. 2.5£ значения X — это числа 9,1. 9,2; ...; 10,9; 11. На рис. 2.5а разнообразие в X обусловливает большую часть разброса У, здесь зависимость между переменными может быть определена сравнительно точно. В то же время на рис. 2.5Ь разброс в переменной кочень мал, и ее влияние перекрывается влиянием дисперсии и. Вследствие этого роль переменной кочень трудно вычленить, поэтому оценки коэффициентов регрессии будут сравнительно неточными.

Конечно, рис. 2.4 и 2.5 демонстрируют одно и то же явление, но разными способами. Как мы видели из выражения (2.40), важны относительные вели­чины с2 и МБОЦ), а не абсолютное значение каждой из них.

У

35

30

Линия регрессии
5
10
15
Нестохастическая зависимость
20 X

25

20

15

10

5

0

-5 "

-10 -

-15 -1

Рисунок 2.4а. Случайный член с относительно небольшой дисперсией

У
X
Линия регрессии

Рисунок 2.4Ь.

Случайный член є относительно большой дисперсией

На практике мы не можем вычислить теоретические дисперсии Ьх или Ь2, так как о2и неизвестно. Однако мы можем получить оценку с2и на основе остат­ков. Очевидно, что разброс остатков относительно линии регрессии будет от­ражать неизвестный разброс и относительно линии У; = + Р^., хотя, в об­щем случае, остаток и случайный член в любом данном наблюдении не равны

У

У 35 -

30 -

25

20 15

10 -

5

0

-5 - -10

-15 J

Рисунок 2.5b. Хс относительно малым среднеквадратическим отклонением

/=1
с2. Однако отскш

друг другу. Один из способов измерить разброс остатков — получить их сред­нее квадратическое отклонение. MSD(e) (mean square deviation) мы определи­ли как

(2.42

/=1

(напомним, что ё- О, как было показано во Вставке 1.2). Интуитивно это должно привести к а2и.

Перед тем, как двинуться дальше, задайте себе следующий вопрос: какая прямая будет ближе к точкам, представляющим собой выборку наблюдени}-: по Хи У: истинная прямая У. = (3, + (ЗД. или регрессионная линия У. = ~ + Ь^Х?. Ответ будет — регрессионная прямая, потому что по определению она строится таким образом, чтобы свести к минимуму сумму квадратов расстоя­ний между ней и наблюдениями. Следовательно, разброс остатков у нее мень­ше, чем разброс значений и: поэтому МБО^ имеет тенденцию занижать Действительно, можно показать, что математическое ожидание М50(е), если

п-2

Нестохастическая зависимость
Линия регрессии

имеется всего одна независимая переменная, равно - следует, что если определить ^ как

MSD =

п-2

П-2П: " 0

/=1 " " м

то будет несмещенной оценкой а2и.

,2 =
(2.43
п-2?

Используя выражения (2.38) и (2.43), можно получить оценки теоретичес­ких дисперсий для Ь} и Ь2 и, после извлечения квадратных корней — оценки их стандартных отклонений. Вместо слишком громоздкого термина «оценка

стандартного отклонения функции плотности вероятности» коэффициента регрессии мы будем использовать термин: «стандартная ошибка» коэффици­ента регрессии, которую в дальнейшем будем обозначать в виде сокраще­ния с.о. Таким образом, для парного регрессионного анализа имеем

1

- +

(2.44)
с.о .(£,) =
і=і

и С.0.(0».) =

ШХі~ї)2

Стандартные ошибки коэффициентов регрессии автоматически рассчиты­ваются с помощью компьютерной программы и являются частью выдаваемой распечатки.

Полученные соотношения будут проиллюстрированы экспериментами Монте-Карло, описанными в разделе 2.4. В серии I значение и определялось на основе случайных чисел, взятых из генеральной совокупности с нулевым средним и единичной дисперсией, т.е. - щей игры (порядковый номер текущей игры минус единица); и — случайны*- член.

В таблице приведены результаты первых 20 игр нового игрока: Xавтоматически изменяется от 0 до 19; в качестве значений и были взяты числа, полученные : помощью генератора нормально распределенных случайных чисел с нулевь^ средним и единичной дисперсией, которые были затем умножены на 400; вели­чина У определялась через значения Іимв соответствии с линейной криво* обучения.

Наблюдение X и У
1 0 -236 264
2 1 -96 504
3 2 -332 368
4 3 12 812
5 4 -152 748
6 5 -876 124
7 6 412 1 512

Наблюдение X и У
8 7 96 1 296
9 8 1 012 2312
10 9 -52 1 348
11 10 636 2 136
12 11 -368 1 232
13 12 -284 1 416
14 13 -100 1 700
15 14 676 2 576
16 15 60 2 060
17 16 8 2 108
18 17 -44 2 156
19 18 -364 1 936
20 19 568 2 968

Оценивая регрессию Кна X, получим уравнение (в скобках указаны стандартные ошибки):

У= 369 + 116, и.

(190) (17,1)

13. Почему постоянный член в этом уравнении не равен 500, а коэффициент перед X не равен 100?

14. Каковы значения стандартных ошибок?

1". Эксперимент повторяется с девятью другими новыми игроками (в каждом слу­чае случайный член получают путем умножения на 400 разных наборов из 20 слу­чайных чисел), а результаты оценивания регрессии для всех 100 игроков приве­дены в следующей таблице. Почему постоянный член, коэффициент перед X и их стандартные ошибки меняются от выборки к выборке?

Игрок Постоянный член Стандартная ошибка постоянного члена Коэффициент приХ Стандартная коэффициен
1 369 190 116,8 17,1
2 699 184 90,1 16,5
3 531 169 78,5 15,2
4 555 158 99,5 14,2
5 407 120 122,6 10,8
6 427 194 104,3 17,5
7 412 175 123,8 15,8
8 613 192 95,8 17,3
9 234 146 130,1 13,1
10 485 146 109,6 13,1

13. = 665 ио2и= 160,000. Используя уравнение (2.38), покажите, что

стандартное отклонение функции плотности вероятности коэффициента при X равно 15,5. Являются ли приведенные в таблице стандартные ошибки хорошими оценками стандартного отклонения?

19*. Используя разложение полученное в упражнении 2.1, выведите выражение для о^, выраженного уравнением (2.38).

<< | >>
Источник: Доугерти К.. Введение в эконометрику: Учебник. 3-е изд. / Пер. с англ. — М.: ИНФРА-М, — XIV, 465 с. — (Университетский учебник).. 2009

Еще по теме 2.6. Точность коэффициентов регрессии:

  1. 3.5. Точность коэффициентов регрессии
  2. 3.3. Свойства коэффициентов множественной регрессии
  3. Несмещенность коэффициентов регрессии
  4. 5.4. Свойства коэффициентов множественной регрессии
  5. 3.1. Случайные составляющие коэффициентов регрессии
  6. 2.3. Случайные составляющие коэффициентов регрессии
  7. 3.2. Вывод и интерпретация коэффициентов множественной регрессии
  8. 5.2. Вывод и интерпретация коэффициентов множественной регрессии
  9. 8.2. Свойства оценок коэффициентов регрессии по МНК в случае конечной выборки
  10. 3.4. Несмещенность коэффициентов регрессии
  11. 3. СВОЙСТВА КОЭФФИЦИЕНТОВ РЕГРЕССИИ И ПРОВЕРКА ГИПОТЕ