2.3. Регрессия по методу наименьших квадратов: два примера
Приведем действительно простой пример всего с двумя наблюдениями для того, чтобы продемонстрировать механизм процесса: как показано на рис. 2.4, наблюдаемое значение у =3, когда х = 1, и у — 5 при х =2.
Оценим коэффициенты а и Ь уравнения$> = а+Ьх. (2.3)
8
У 7
6 5 4
3 2 1 О
Рис. 2.4. Пример с двумя наблюдениями
Таблица 2.1
х у р е
1 3 Ъ- а- Ь
2 5 а+2/7 5 - а - 2Ь
Очевидно, что при наличии всего двух наблюдений мы можем получить точное соответствие, проведя линию регрессии через две точки, однако сделаем вид, что мы этого не понимаем. Вместо этого придем к тому же выводу, используя метод регрессии.
Еслих = 1, тоР = (а + Ь) в соответствии с уравнением регрессии. Еслих = 2, то>> = а + 2Ь. Следовательно, мы можем составить табл. 2.1.
Значение>>! (величина^ в точке Л, на рис. 2.3) равно (а + Ь), а значение$2 = = а + 2Ь. Следовательно, остаток ех для первого наблюдения, который определяется как (ух — у{), равен (3 — а — Ь), а остаток е2, который определяется как (у2 — Р2), равен (5 — а — 2Ь).
Следовательно,
й = е\+е\ -(3-а-Ь)2 + (5-а-2Ь)2 = = (9 + а2 +Ь2-6а-6Ь + 2аЬ) + (25 + а2 +4Ь2-10а-20Ь + 4аЬ) = = 2 а2 + 5 Ь2 +6аЬ-\6а- 2 6Ь + 34.
Теперь мы хотим выбрать такие значения а и Ь, чтобы значение 5 было минимальным. Для этого мы используем дифференциальное исчисление и находим значения а и Ь, удовлетворяющие следующим соотношениям:
да дЬ
— = 4а + 6А-16; ^г = ЮЬ + 6а-2Ь. да до
Таким образом, мы имеем:
2а + Зі-8 = О
За + 5Л -13 = 0. (2.8)
Решив эти два уравнения, получим а = 1 и Ь = 2. Следовательно, уравнение регрессии будет иметь следующий вид:
Р* |
у = \+2х.
(2.9)8
л
У-У 7
(2.4) |
(2.5) |
(2.6) |
(2.7) |
6 5 4
(2-Ю) (2.11) |
3 2 1 0
Рис. 2.5. Пример с тремя наблюдениями
Для того чтобы проверить, что мы пришли к правильному выводу, вычислим остатки:
е1 = 3-а-£ = 3-1-2 = 0;
е2 =5-0-26 = 5-1-4 = 0.
Таким образом, оба остатка равны нулю, что означает, что линия регрессии проходит точно через обе точки, что мы, разумеется, знали с самого начала. Если у вас всего два наблюдения, то проводите прямую через эти две точки. В данном случае в проведении регрессионного анализа нет необходимости.
Пример 2
Используем пример, рассмотренный в предыдущем разделе, и добавим третье наблюдение: у = 6 при х = 3. Три наблюдения, показанные на рис. 2.5, не лежат на одной прямой, поэтому точное соответствие получить невозможно. В этом случае для вычисления положения прямой мы должны использовать регрессию по методу наименьших квадратов.
Начнем с задания стандартного уравнения
у = а + Ьх. (2.12)
Для значений х, равных 1, 2 и 3, расчетные значения>> равны соответственно (а + Ъ), (а + 2Ь) и (а + 36); они приведены в табл. 2.2.
Таблица 2.2 | |||
X | У | 9 | е |
1 | 3 | а+ Ь | Ъ - а- Ь |
2 | 5 | а+ 2 Ь | 5- а-2Ь |
3 | 6 | а+ ЪЬ | 6- а-ЪЬ |
Следовательно,
5 = ^+«2 + е2 = {Ъ-а-Ь)2 +(5-а-2Ь)2 + {6-а-ЪЬ)2 =
= (9 + а2 + Ь2 - 6а - 6Ь + 2аЬ) + (25 + а2 + 4Ь2 - 10а - 20Ь + 4аЬ) +
+(36 + а1 + 9Ь2 -\2а - Ш + 6аЬ) = За2 + Ш2 +12аЪ - 28а - 62Ъ + 70. (2.13) Условия дБ/да = 0 и ЪБ/дЬ = 0 дают:
6а + \2Ь - 28 = 0 (2.14)
и
28Ь+ 12а -62 = 0. (2.15)
Решая эти уравнения, получим а= 1,67 и Ь= 1,50. Следовательно, уравнение регрессии имеет следующий вид:
р = 1,67 + 1,50х. (2.16)
Еще по теме 2.3. Регрессия по методу наименьших квадратов: два примера:
- Регрессия методом наименьших квадратов: два примера
- 2.2. Регрессия по методу наименьших квадратов
- 1.2. Регрессия методом наименьших квадратов
- Регрессия методом наименьших квадратов с одной независимой переменной
- 2.5. Регрессия по методу наименьших квадратов с одной независимой переменной
- 11.7. Двухшаговый метод наименьших квадратов (ДМНК)
- 11.3. Косвенный метод наименьших квадратов (КМНК)
- 6.3. Примеры практической реализации метода анализа утверждений Пример из зарубежной практики
- 3.5. Два популярных метода определения личностных свойств
- Примеры использования метода дисконтирования денежных потоков
- 2.5.2. Примеры интеграции методов совершенствования организаций
- 13.3. Пример допроса по методу когнитивного интервью
- РЕАЛЬНЫЙ ПРИМЕР ПОПЫТОК РЕАЛИЗАЦИИ СТРАТЕГИИ РАЗВИТИЯКОМПАНИИ, ОСНОВАННОЙ НА , МЕТОДАХ БИЗНЕС-ПЛАНИРОВАНИЯ