2.7. Теорема Гаусса-Маркова

Аналогичные рассуждения применимы и к коэффициентам регрессии. Теорема Гаусса-Маркова утверждает, что при условии соблюдения предпосы­лок, описанных в разделе 2.2, оценки МНК будут наилучшими (наиболее эф­фективными) линейными (комбинации У^ несмещенными оценками пара­метров регрессии. Мы продемонстрируем это для коэффициента наклона Ь₂.

Чтобы увидеть свойство линейности, заметим, что

±(х₁-х)(г₁-г).±(х₁-х)г,-±(х₁-х)г~

1=1 /■=] /=1

/=1 /=1

= ±(х,-щ-?\±х₁-пх\==±(х₁-х)г₁.

Тогда

К*,-*)($-?) їії-щ „ _{( л}

----------- — = ч------------- 7=1.} (2.48)

Ж-*)² Ш-х)²

]=1 ]=1 у'=1

где соответствует определенному ранее.

Далее мы продемонстрируем свойство эффективности. Рассмотрим любую другую несмещенную оценку

£=2>/1/. (2.49)

/=1

которая является линейной функцией у_г Мы покажем, что дисперсия этой оценки будет больше, кроме случая, когда = а₁ для всех и Для того, чтобы Ь.

была несмещенной, нам нужно, чтобы е(Ь₂ ) = Р₂.

ь₂ = 5>л = 2>/(рі + "/) = ]►>& + +1(2.50) 1 = 1 /=1 І=1 /=1 /=1

Следовательно,

/=1 /=1 1/=1 ]

Первые два слагаемых в правой части нестохастические и поэтому не изме­нятся, когда мы возьмем их математические ожидания. Теперь

^Е (£ т 1= 1^Е [т)=I(«,)=о.

1/=1 ) 1=1 /=1

Первый шаг потребовал использовать первое правило для математического ожидания, поэтому

Щ = Ь Хй+Рг!*/*/- (2-53)

;=1 /=1

Иными словами, для того, чтобы Е(ь₂^ = (3₂, величина ^.должна удовлетво­рять условию, согласно которому ⁼ 0 и Х^'^/ =1. Дисперсия Ь₂ дана как

о\ = £{(4-£(4))²)=г{Ё(«)²}=^1 «?• (2.54)

Последний шаг абсолютно аналогичен тому, который мы использовали для доказательства того, что £ |Х(^а/^м/)²} ⁼ °мХ^а'^{2 80} Вставке 2.3. Пусть

А_;. = _ё/-а, (2.55)

Записывая g_i = а_{ + к_р первое условие несмещенности Ь₂ приобретает вид

5>,=Х(«/+4г) = 0. (2.56)

/=1 /=1

Так как а, =0 (см. Вставку 2.2), то ^/г,- =0. Второе условие несмещен­ности Ь₂ приобретает вид

< =в2±«? + =03 {±-? + ± V (2.57)

/=1 /=1 1/=1 /=1 1 = 1 \

Так как ⁼ 1 (снова см. Вставку 2.2), то ^/^,=0. Дисперсия Ь₂

равна

Ч -о5±в? -о2±Ь-«2 +22^1. (2.58)

/=1 /=1 1/=1 /=1 /=1 ]

Теперь

------- -\±Ь,Х,-Х±и\. (2.59,

^{ы ы}Я^хг*) КМ ^{Ы ы ]}

У=1 У=1

Это выражение равно нулю, так как мы уже видели, что условия несмещен­ности Ъ₂ требуют, чтобы ^ /?, = О и = 0. Следовательно,

ч=°«{х^а