3.2. Вывод и интерпретация коэффициентов множественной регрессии

АЮ = 5>,², (3.3)

/=1

где е₍ является остатком в наблюдении /, разницей между фактическим значе­нием У₁ в этом наблюдении и значением У_п прогнозируемым по уравнению регрессии:

У₁ = Ъ_]+Ъ₂Х₂₁+Ь_ъХ _3/; (3.4)

е. = У₁-У=У₁-Ъ_х-Ъ₁Х_Г1-Ь_ъХ_Уг (3.5)

Отметим, что теперь переменные X имеют два нижних индекса. Первый означает номер переменной X, а второй относится к номеру наблюдения.

Используя уравнение (3.5), мы можем записать:

ЛЖУ = Х е} = Х(У, -Ь-Ь₂Х_Ъ-Ь,Х_Ъ1)\ (3.6)

/=1 1=1

о

Вставка 3.

отсутствует в общей модели регрессии

Почему так? Причина здесь — в необходимости сделать обозначения анало­гичными обозначениям в учебниках, использующих линейную (матричную) алгебру. В вашем следующем курсе эконометрики наверняка будет использо­ваться такой учебник. Для изложения с использованием линейной алгебры не­обходимо, чтобы каждый член в правой части уравнения был произведением параметра и переменной. Если в модели есть постоянный член, как здесь, то можно исправить ситуацию, записав уравнение в виде:

У = 61 + В1 + + В Хк + и

где Х_и = I для всех наблюдений. При использовании обычной алгебры чаще всего нет необходимости вводить Х₁ в явной форме, и поэтому этой переменной нет. Единственный случай в этом учебнике, когда такая переменная может быть полезной,

Необходимые условия первого порядка для минимума, т.е. -^^ = 0,

ЭЛЮ . ЭТШ¹ _Л Э^

-------- = 0 и---------- = 0, дают следующие уравнения:

дЬ₂

^ -21« - ^ - № " №) = 0; (3.7)

Щ ы

^ = -21 - ^ - № - №) = 0; (3.8)

2 /=1

^ = -21 № ■" 4 " " №) = 0. (3-9)

Следовательно, мы имеем три уравнения с тремя неизвестными: Ь₂ и Первое уравнение можно легко перегруппировать для выражения величины Ь_{ через Ь₂, Ь_г и данные наблюдений для У, Х₂ и Х₃:

Ь₁ = У-Ь₂Х₂-Ь_ЪХ₃. (3.10)

Используя это выражение и два других уравнения, путем некоторых преоб­разований можно получить следующее выражение для Ь₂:

^ \2

/=1

Ъ_г=------------ ^н--------- ;--------------------------------------------------------- (3.11)

2 (х* - )² £ - )Ч £ (Х₂₁ - Х₂) (Х„ - X,)

1=1 /=1

Аналогичное выражение для Ь₃ можно получить путем перестановки Х₂ и Х₃ в уравнении (3.11).

Цель данного анализа состоит в выделении двух основных моментов. Во-первых, принципы, лежащие в основе вычисления коэффициентов регрес­сии, в случаях множественной и парной регрессии не различаются. Во-вторых, сами выражения, тем не менее, различаются. Поэтому не следует пытаться ис­пользовать выражения, выведенные для парной регрессии, в случае множест­венной регрессии.

Общая модель

В предыдущем примере мы имели только две независимые переменных. В тех случаях, когда этих переменных больше двух, уже невозможно дать гео­метрическое представление того, что происходит, но развитие алгебраических выкладок в принципе вполне очевидно. Допустим, что переменная Ксвязана с (с - 1 независимыми переменными Х₂, ..., Х_к в соответствии с неизвестной ис­тинной зависимостью. Мы предполагаем, что переменная К зависит от к - 1

объясняющих переменных Х₂, Х_к в соответствии с неизвестной истинной формулой

r_/=ß₁ + ß₂*₂,. + ... + ßA + ", (3.12)

Оценим уравнение для данного множества п наблюдений для У, Х₂, ..., Х_к методом наименьших квадратов:

Г, =4 + b₂X_2i+„.+b_kX_ki. (3.13)

Это вновь означает минимизацию суммы квадратов отклонений, а отклоне­ние в наблюдении i выражается как

e_i = Y_i-Y_i=Y_i-b_]-b₂X_2i-...-b_kX_ki. (3.14)

Уравнение (3.14) является обобщением уравнения (3.5). Теперь мы выбира­ем b_v ..., b_k так, чтобы свести к минимуму RSS, сумму квадратов отклонений

V 2 _N/r , - d/tos - ЭRSS _п 2' е-. Мы получаем к условии первого порядка- = 0,..., = 0, что дает

ы\ ЪЬ_к

к уравнений для нахождения к неизвестных. Можно легко показать, что первое

из этих уравнений позволяет получить аналог уравнения (3.10), относящегося

к случаю с двумя независимыми переменными:

b_l=Y-b₂X₂-...-b_kX_k.

Выражения дня b_v b_k становятся очень сложными, и математическая сторона не будет здесь представлена в явном виде. Расчеты здесь должны быть сделаны с помощью матричной алгебры.

Интерпретация коэффициентов множественной регрессии

Множественный регрессионный анализ позволяет нам разграничить влия­ние независимых переменных, допуская при этом возможность их коррелиро- ванности. Коэффициент регрессии при каждой переменной X дает оценку ее влияния на величину Yв случае неизменности влияния на нее всех остальных переменных X.

Это может быть продемонстрировано двумя способами. Один из них состо­ит в выяснении того, что если модель правильно специфицирована и выполне­ны предпосылки регрессионной модели, то оценки получаются несмещенны­ми. Это будет сделано в следующей главе для случая, когда имеются только две независимые переменные. Второй способ состоит в оценивании регрессион­ной зависимости Кот одной из переменных X, очистив предварительно пере­менные Y и X от составляющих, относящихся к другим объясняющим пере­менным. Оценка коэффициента наклона и ее стандартная ошибка в этом слу­чае получаются точно такими же, как при оценивании множественной регрессии. Этот результат доказан теоремой Фриша-Вауга-Ловелла (Frisch, Waugh, 1933; Lovell, 1963). Отсюда следует, что диаграмма рассеяния для зави­симости «очищенной» переменной У от «очищенной» переменной ^является корректным графическим представлением их взаимосвязи, которое невозмож­но получить каким-либо другим путем. Этот результат мы не будем доказы­вать, но он будет проиллюстрирован с помощью функции заработка в разде­ле 3.1:

EARNINGS = р, + P₂S+ р _гЕХР+и. (3.16)

Предположим, что нас особенно интересует зависимость между заработком и продолжительностью обучения и что мы хотели бы представить ее графиче­ски. Непосредственное построение точек зависимости EARNINGS от S, как это представлено на рис. 1.8, дает искаженный вид взаимосвязи, поскольку пере­менная ЕХР отрицательно коррелирована с S. Среди людей одинакового воз­раста, люди, которые провели в школе больше времени, чаще всего имеют меньше опыта работы. Вследствие этого, если S возрастает, то 1) EARNINGS будет иметь тенденцию к возрастанию, поскольку Р₂ положительно; 2) ЕХР бу­дет иметь тенденцию к убыванию, поскольку S и ЕХР отрицательно коррели- рованы, и 3) EARNINGS уменьшится благодаря убыванию ЕХР и тому, что р₃ положительна. Другими словами, вариации величины EARNINGS не будут полностью отражать влияние вариаций в S, поскольку частично они будут вы­званы связанными с этим вариациями в ЕХР. Вследствие этого при оценива­нии парной регрессии оценка Р₂ будет смещена вниз. Мы исследуем это сме­щение аналитически в разделе 6.2.

В данном примере присутствует еще одна объясняющая переменная ЕХР. Чтобы «очистить» EARNINGS и Sot их составляющих, обусловленных ЕХР, мы сначала оценим их регрессии на ЕХР:

EARNINGS = с, + с₂ ЕХР; (3.17)

S = d_l+d₂EXP. (3.18)

Далее вычтем полученные теоретические значения из фактических значе­ний:

EEARN = EARNINGS - EARNINGS', (3.19)

ES = S~S. (3.20)

«Очищенные» переменные EEARN и ES — это, конечно, всего лишь оста­точные члены регрессий (3.17) и (3.18). Далее мы оценим регрессию EEARN на ES и получим представленную в табл. 3.2 распечатку результатов.

В записи оценки свободного члена регрессии использовано обшее правило записи очень больших или очень маленьких чисел с заданным числом цифр. Запись е + п означает, что коэффициент должен быть умножен на 10". Анало­гично е-п означает, что он должен быть умножен на 10"^и. Итак, в нашей ре­грессии свободный член практически равен нулю.

Вы можете убедиться в том, что коэффициент при ES идентичен коэффи­циенту при S в множественной регрессии в разделе 3.1. Рисунок 3.2 представ­ляет линию регрессии на диаграмме рассеяния. Пунктирная линия на рисун­ке — это парная регрессия EARNINGS на S и приведена для сравнения. Она немного более пологая, чем реальная зависимость EARNINGS от S, поскольку

она не учитывает эффект EXP. В этом случае отклонение мало, потому что мала корреляция между Sи ЕХР, равная -0,22. Но, даже принимая во внимание этот факт, диаграмма полезна, потому что она позволяет напрямую увидеть соотно­шение между заработком и продолжительностью обучения при фиксирован­ном стаже работы. Наличие далеко лежащих наблюдений для больших значе­ний S приводит к выводу, что модель была в чем-то неправильно специфици­рована.

Упражнения

3.1. Ниже приведен результат оценивания функции продолжительности обучения, при котором строится регрессионная зависимость переменной Sot EXP, SMи SF (последние две переменные — число полных лет обучения матери и отца респон­дента) для набора данных EAEF 21. Дайте интерпретацию коэффициентов этой регрессии.

Рисунок 3.2. Регрессионная зависимость остатков EARNINGS от остатков S

■w*.

}_2. Постройте функцию заработка аналогично тому, как это сделано в упражне­нии 3.1, на основе вашего набора данных EAEF. Сначала постройте регрессию S на ASVABC и SM и проинтерпретируйте результаты оценивания регрессии. По­вторите построение регрессии, используя SF вместо SM, а потом снова включив и SM, и SF в качестве регрессоров. Известно высказывание, что если вы учите мальчика, то вы учите личность, а если вы учите девочку, то вы учите народ. Суть заключается в том, что хорошее образование будущей матери оказывает положи­тельный эффект на достижения ее детей в учебе. Подтверждают ли результаты оценивания вашей регрессии данную точку зрения?

УЗ. Постройте функцию продолжительности обучения аналогично тому, как это сделано в разделе 3.1, на основе набора данных EAEF. Постройте регрессию EARNINGS на S и ЕХР и дайте интерпретацию результатов.

Воспользовавшись вашим набором данных EAEF, представьте графически взаи­мосвязь между переменными S и SM, используя метод Фриша-Вауга-Ловелла, предположив, что истинная модель — та же, что и в упражнении 3.2. Чтобы сде­лать это, оцените регрессию S на ЕХР и SFn сохраните остатки. Сделайте то же самое с переменной SM. Нанесите на график остатки S и SM. Оцените также регрессию между ними и убедитесь в том, что коэффициент наклона здесь такой же, как и полученный в упражнении 3.2.

'S. Объясните, почему свободный член в регрессии EEARN от ES равен нулю.