проверить гипотезу о гомоскедастичности регрессионных остатков можно с помощью

Анализ регрессионных остатков (пример)

Материал из MachineLearning.

Содержание

Для получения информации об адекватности построенной модели многомерной линейной регрессии используется анализ регрессионных остатков.

Постановка задачи

Задана выборка откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:

. Требуется создать инструмент анализа адекватности модели используя анализ регрессионных остатков и исследовать значимость признаков и поведение остатков в случае гетероскедастичности.

Описание алгоритма

Анализ регрессионных остатков

Анализ регрессионных остатков заключается в проверке нескольких гипотез:

Для проверки первой гипотезы воспользуемся критерием знаков. Проверка второй гипотезы, по сути, является проверкой на гомоскедастичность, то есть на постоянство дисперсии, случай гетероскедастичности будет рассмотрен ниже. Для этого воспользуемся двумя статистическими тестами: тестом Ансари-Брэдли и критерием Голдфелда-Кванта. Так как тест Ансари-Брэдли фактически осуществляет проверку гипотезы, что у двух предоставленных выборок дисперсии одинаковы, а мы фактически имеем только один вектор остатков, то произведем несколько тестов, сравнивая в каждом две случайные выборки из нашего вектора остатков. Проверку нормальности распределения осуществим с помощью критерия согласия хи-квадрат, модифицированного для проверки на нормальность, то есть сравнивая данное нам распределение в остатках с нормальным распределением, имеющим моментные характеристики, вычисленные из вектора остатков. Наконец, проверку последнего условия реализуем с помощью статистики Дарбина-Уотсона.

Оценка значимости признаков

Задача состоит в проверке для каждого из признаков, дает ли нам учет этого признака в модели более хорошие результаты, нежели его отсутствие. Оценивать результаты будем с помощью коэффициента детерминации:

Гетероскедастичность

Термин гетероскедастичность применяется в ситуации, когда ошибки в различных наблюдениях некоррелированы, но их дисперсии — разные. Соответственно термин гомоскедастичность применяется в случае постоянных дисперсий.

Визуальный анализ

Одним из основных методов предварительного исследования на гетероскедастичность является визуальный анализ графика остатков. Целью данного анализа является нахождение факторов влияющих на изменение дисперсии, номер измерения или значение одного из признаков. Для сравнения приведем несколько примеров.

Выше представлена госмоскедастичная модель. Действительно, используя визуальный анализ, не получается найти какие-то признаки непостоянства дисперсии и тем более какие-то зависимости.

В данном случае визуально можно констатировать факт непостоянства дисперсии и даже связать это изменение с номером эксперимента (или возможно с одним из признаков, если он монотонно изменялся по номеру эксперимента).

Еще один пример визуально определимой гетероскедастичности.

Статистические методы детекции

Тест Уайта

Тест Голдфелда-Кванта

Этот тест применяется, когда есть предположение о прямой зависимости дисперсии ошибок от некоторого признака. Алгоритм метода:

Тест Ансари-Брэдли

Тест получает на вход две выборки размеров и и проверяет на равенство дисперсий распределения, из которых они могли быть получены. Алгоритм метода пошагово:

Эвристика

Вычислительный эксперимент на модельных данных

В данном отчете представлены результаты применения созданного инструмента анализа представленной модели с помощью исследования ее регрессионных остатков. Отчет состоит из трех экспериментов, демонстрирующих плюсы и минусы созданного инструмента.

Три модели

Модель №1 (хорошая)

График остатков этой модели уже был приведен выше и не представляет особого интереса.

Модель №2 (плохая, одномерная)

Нормальность отвергнута. Гетероскедастичность была обнаружена только эвристикой. Приведем гистограмму полученную эвристикой:

Модель №3 (плохая,многомерная)

Нормальность отвергнута. Гетероскедастичность была обнаружена как эвристикой, так и тестом Голдфелда-Квандта (зависимость от первой и второй и независимость от пятой переменной). Приведем гистограмму полученную эвристикой:

Выводы

Статистические проверки на нормальность показали себя с наилучшей стороны. Эвристика показала хорошие результаты в исследовании на гетероскедастичность. Тест Голдфелда-Квандта не сработал только в одном тесте. Тест Ансари-Брэдли (использовался для проверки на постоянство дисперсии) показал наихудшие результаты, так как с его помощью не удалось различить две существенно разные модели. Это вполне объяснимо: мы применяли этот тест для сравнения дисперсий двух случайных выборок взятых из нашего вектора остатков. Вполне очевидно что результат достаточно не предсказуем вследствие именно этой случайности выборок. В итоге мы получали одинаковые результаты для разных моделей. (причем увеличение числа экспериментов не решает данной проблемы).

Источник

Способы обнаружения гетероскедастичности остатков регрессии. Какие критерии могут быть использованы для проверки гипотезы о гомоскедастичности регрессионных остатков?

Существует несколько способов на обнаружение гетероскедастичности в регрессионной модели:

1) Тест Глейзера. Строится обычная регрессионная модель: Методом наименьших квадратов вычисляются оценки коэффициентов построенной модели: . Затем вычисляются остатки регрессионной модели: . Полученные регрессионные остатки возводятся в квадрат .

· Все n наблюдений упорядочиваются по величине x_j.

· Вся упорядоченная выборка разбивается на три подвыборки размерностей k, n-2k и k соответственно.

· Оцениваются отдельные регрессии для первой подвыборки (k первых наблюдений) и для третьей подвыборки (k последних наблюдений).

· Для сравнения соответствующих дисперсий выдвигается нуль – гипотеза в виде

которая предполагает отсутствие гетероскедастичности. Для проверки нуль – гипотезы строится следующая статистика

которая при справедливости нуль – гипотезы имеет распределение Фишера с (k-p-1, k-p-1) степенями свободы.

,

то гипотеза об отсутствии гетероскедастичности отклоняется на уровне значимости α.

3) Для обнаружения гетероскедастичности определяется коэффициент Спирмена. Коэффициент Спирмена является аналогом парного коэффициента корреляции, но позволяет выявить взаимосвязь между качественным и количественным признаками: ,

Критическое значение определяется по таблице распределения Стьюдента: . Если , то между переменной и остатками регрессионной модели присутствует гетероскедастичность.

33. Суть ANOVA-моделей и ANCOVA-моделей.

где D=0, если претендент на рабочее место не имеет высшего образования,

Тогда при отсутствии высшего образования начальная заработная плата равна: а при его наличии:

При этом параметр а определяет среднюю начальную заработную плату при отсутствии высшего образования. Коэффициент g показывает, на какую величину отличаются средние начальные заработные платы при наличии и при отсутствии высшего образования у претендента. Проверяя статистическую значимость коэффициента g с помощью t – статистики, можно определить, влияет или нет наличие высшего образования на начальную заработную плату. Нетрудно заметить, что ANOVA – модели представляют собой кусочно –постоянные функции. Такие модели в экономике крайне редки. Гораздо чаще встречаются модели, содержащие как количественные, так и качественные переменные.

Поперечные профили набережных и береговой полосы: На городских территориях берегоукрепление проектируют с учетом технических и экономических требований, но особое значение придают эстетическим.

Механическое удерживание земляных масс: Механическое удерживание земляных масс на склоне обеспечивают контрфорсными сооружениями различных конструкций.

Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰).

Общие условия выбора системы дренажа: Система дренажа выбирается в зависимости от характера защищаемого.

Источник

Презентация была опубликована 8 лет назад пользователемВиктория Недосейкина

Похожие презентации

Презентация на тему: » ПРАКТИКУМ ПО ПРИКЛАДНЫМ ЭКОНОМИЧЕСКИМ ИССЛЕДОВАНИЯМ Часть 2 ЛЕКЦИЯ 2 ТЕСТИРОВАНИЕ РЕГРЕССИОННЫХ ОСТАТКОВ НА НАЛИЧИЕ ВЫБРОСОВ, НОРМАЛЬНОСТЬ, ГОМОСКЕДАСТИЧНОСТЬ.» — Транскрипт:

1 ПРАКТИКУМ ПО ПРИКЛАДНЫМ ЭКОНОМИЧЕСКИМ ИССЛЕДОВАНИЯМ Часть 2 ЛЕКЦИЯ 2 ТЕСТИРОВАНИЕ РЕГРЕССИОННЫХ ОСТАТКОВ НА НАЛИЧИЕ ВЫБРОСОВ, НОРМАЛЬНОСТЬ, ГОМОСКЕДАСТИЧНОСТЬ Демидова О.А., Каф. Математической экономики и эконометрики, доцент Лаборатория «Эмпирический анализ предприятий и рынков», заведующий

2 Тестирование регрессионных остатков на гомоскедастичность

3 Гетероскедастичность 1 X Y = X Y 2 Одно из условий теоремы Гаусса – Маркова состоит в том, что возмущения u имеют нулевое математическое ожидание и одинаковую дисперсию. X3X3 X5X5 X4X4 X1X1 X2X2

4 Гетероскедастичность 1 X Y = X Y 3 Было сделано также дополнительное предположение о нормальном законе распределения возмущений. X3X3 X5X5 X4X4 X1X1 X2X2

5 Гетероскедастичность 1 X Y = X Y 4 Свойство одинаковой дисперсии возмущений называется гомоскедастичностью. X3X3 X5X5 X4X4 X1X1 X2X2

6 Гетероскедастичность 1 X Y = X Y 5 Линия теоретической регрессии Y = X, которую мы не можем провести и проверить, одинаково ли распределены возмущения. X3X3 X5X5 X4X4 X1X1 X2X2

7 6 Гетероскедастичность Если дисперсии возмущений различны, то это явление называется гетероскедастичностью. X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y = X Y

8 7 Гетероскедастичность Наличие гетероскедастичности можно заподозрить, если отклонение наблюдений от линии выборочной регрессии (остатки) достаточно сильно различаются. X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y = X Y

9 8 Гетероскедастичность Однако ответ на вопрос, имеет ли место гетероскедастичность, можно получить только с помощью тестов. X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y = X Y

10 9 Последствия гетероскедастичности Если предположение об одинаковых дисперсиях возмущений не выполняется, то стандартные ошибки коэффициентов регрессии вычисляются по неверным формулам t – тесты для проверки гипотез о конкретных значениях коэффициентов не дают правильных результатов F – тесты для проверки гипотез о линейных ограничениях на коэффициенты регрессии не дают правильных результатов Оценки МНК коэффициентов регрессии больше не являются BEST, теряется эффективность оценок.

11 Данные для 30 стран в Пример

12 Взглянув на этот рисунок, можно сделать предположение, что с ростом ВВП дисперсия возмущений увеличивается. 11 Пример

13 Сравним Южную Корею и Мексику с приблизительно одинаковым уровнем ВВП. 12 Пример South Korea Mexico

14 Другая пара для сравнения – Сингапур и Греция, также с почти одинаковым уровнем ВВП. Очевидно, что для первой пары с большим ВВП и разница больше. Можно предположить наличие гетероскедастичности. 13 Пример Singapore Greece

15 1 Тест Голдфелда – Квандта Гетероскедастичность – различие дисперсий возмущений для различных наблюдений. Ясно, что видов гетероскедастичности может быть сколь угодно много. X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y = X Y

16 X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y 2 Однако одним из самых распространенных видов гетероскедастичности является пропорциональность стандартного отклонения возмущений одной из объясняющих переменных. Тест Голдфелда – Квандта

17 X3X3 X5X5 X4X4 X1X1 X2X2 1 X Y = X Y 3 Этот тип гетероскедастичности иллюстрируется на приведенной диаграмме. Дисперсия возмущений пропорциональна переменной Х. Тест Голдфелда – Квандта

18 4 Основная и альтернативная гипотезы в тесте Голфелда – Квандта (и во всех остальных тестах, в которых проверяется, имеет ли место гетероскедастичность) формулируются следующим образом: H 0 : гомоскедастичность H 1 : гетероскедастичность Однако сам тест зависит от того, какой вид гетероскедастичности мы предполагаем в альтернативной гипотезе. Тест Голдфелда – Квандта

20 5 Для проведения теста Голдфелда – Квандта все наблюдения делятся на 3 части. Если выборка небольшая, то выделяют приблизительно 3/8 части всех наблюдений для первой и третьей части и приблизительно 1/4 в середине. Тест Голдфелда – Квандта

21 6 Для 28 стран оценивается зависимость выпуска продукции обрабатывающей промышленности от ВВП. Выделено 11 стран с маленьким ВВП, 6 со средним и 11 с большим. Пример проведения теста Голдфелда – Квандта

22 7 Отдельно оцениваются регрессии для 11 стран с маленьким ВВП и для 11 стран с большим ВВП. Пример проведения теста Голдфелда – Квандта

23 8 Для каждой регрессии находятся суммы квадратов остатков RSS 1 и RSS 2. RSS 2 = 13,518,000,000 RSS 1 = 157,000,000 Пример проведения теста Голдфелда – Квандта

24 9 Если имеет место гомоскедастичность, RSS 1 и RSS 2 не должны сильно различаться (если число наблюдений в оцениваемых регрессиях совпадает). RSS 2 = 13,518,000,000 RSS 1 = 157,000,000 Пример проведения теста Голдфелда – Квандта

25 10 Однако в рассматриваемом примере RSS 2 значительно превышает RSS 1. RSS 2 = 13,518,000,000 RSS 1 = 157,000,000 Пример проведения теста Голдфелда – Квандта

29 Тест Глейзера 2 Дисперсия возмущений не обязательно пропорциональна какому- либо фактору, может быть и другой вид зависимости, для определения которой используется тест Глейзера.

30 3 H0:H1:H0:H1: Тест Глейзера

31 4 Оценивается регрессия по всем наблюдениям. Сохраняются остатки регрессии e i. Оцениваются регрессии Если коэффициент β значим хотя бы в одной из трех регрессий (значимость коэффициента проверяется как обычно с помощью t – статистики), то имеет место гетероскедастичность (соответствующего вида). Формальное описание теста Глейзера

32 Тест Уайта 1 Содержательный смысл теста Уайта состоит в следующем: если в модели дисперсия возмущений каким-то, возможно, достаточно сложным образом зависит от регрессоров, то это должно каким-то образом отражаться в остатках обычной регрессии исходной модели.

33 Тест Уайта 2 H 0 : гомоскедастичность H 1 : гетероскедастичность Вид гетероскедастичности не конкретизируется.

34 3 Оценивается регрессия по всем наблюдениям. Сохраняются остатки регрессии e i. Оцениваются регрессия квадратов остатков на все регрессоры, их квадраты, попарные произведения и константу. В последней оцененной регрессии находим коэффициент множественной детерминации R 2 Вычисляем тестовую статистику по формуле nR 2. Тестовая статистика имеет распределение «хи – квадрат» с k-1 степенями свободы, где k – число оцениваемых коэффициентов. Сравниваем полученное значение тестовой статистики с критическим при выбранном уровне значимости. Если значение тестовой статистики превышает критическое, то нулевая гипотеза о гомоскедастичности отвергается. Формальное описание теста Уайта

35 Тест Уайта 4 Привлекательной чертой теста Уайта является его универсальность. Однако этот тест не является конструктивным. Если гетероскедастичность выявлена, то тест Уайта не дает указания на функциональную форму гетероскедастичности. Единственным способом коррекции является применение стандартных ошибок в форме Уайта.

39 1 Что делать в случае гетероскедастичности? Предположим, что нам известны дисперсии возмущений i 2 для всех наблюдений i = 1,…,n.

40 2 Разделим обе части равенства на i для каждого наблюдения.

41 3 Тогда дисперсии возмущений в новой регрессии станут одинаковыми и равными 1.

42 4 Преобразование переменных Все сводится к оценке новой регрессии с преобразованными факторами, оцениваем регрессию Y’ на X’ и H, которые определенны выше. Отметим, что в новой регрессии нет константы. 1 становится коэффициентом наклона перед переменной 1/ i.

43 5 Взвешенный метод наименьших квадратов Указанный метод называется взвешенным методом наименьших квадратов. Наибольший вес 1/ i получают наблюдения с наименьшей дисперсией возмущений i.

44 Взвешенный метод наименьших квадратов 6 Однако на практике стандартные отклонения возмущений обычно неизвестны. Но, оказывается, достаточно знать эти стандартные отклонения с точностью до постоянного множителя. Предположим, что стандартные отклонения возмущений пропорциональны некоторой известной переменной Z i.

45 Взвешенный метод наименьших квадратов 7 В этом случае мы достигаем гомоскедастичности остатков, разделив все переменные на Z i.

46 8 Взвешенный метод наименьших квадратов Действительно, как показано выше, дисперсии новых остатков одинаковы и равны 2. Нам нет необходимости знать 2. Достаточно того, что это константа (т.е. одинаковые дисперсии для всех возмущений, гомоскедастичность).

47 9 Взвешенный метод наименьших квадратов Если после выполнении теста Голдфелда – Квандта гипотеза о гомоскедастичности отвергается, то в качестве Z может быть использована переменная X j.

48 10 Взвешенный метод наименьших квадратов На практике вместо i часто используют их оценки. Например, если после проведения теста Глейзера гипотеза о гомоскедастичности была отвергнута, поскольку в регрессии ^ коэффициент β значим, то σ i = |e i |, i = 1. n

49 История, произошедшая на Нью-Йорской фондовой бирже 2 Securities and Exchange Commission vs Antitrust division of the US Department of Justice Биржевой комитет: Комиссионные брокерам не являются объектом соглашения между брокерами и клиентами, а устанавливаются биржевым комитетом Подразделение министерства юстиции: Цены комиссионных д.б. либерализованы

50 История, произошедшая на Нью-йоркской фондовой бирже 3 Биржевой комитет: где Y – доход брокерских компаний, Х – количество акций в сделке. Вывод: естественная монополия, не надо либерализовывать цены.

51 История, произошедшая на Нью-Йорской фондовой бирже 4 Подразделение министерства юстиции : Дисперсия ошибок зависит от объема сделки. Надо поделить все переменные на. Новое оцененное уравнение: Вывод: это не естественная монополия, надо либерализовать цены.

Источник

Проверка статистических свойств остатков (качества оценок коэффициентов регрессии)

4.4.1. Центрированность остатков: проверка выполнения условия 1 о равенстве математического ожидания остатков нулю

Среднее из числовых характеристик остатков рассчитано на листе «Регрессия» и представлено в таблице 9.

Таблица 9 –Числовые характеристики остатков

На листе «Условие 2» рассчитаны наблюдаемое и критическое значения t-статистики (таблица 10).

Таблица 10 – Проверка гипотезы об отсутствии гетероскедастичности

Поскольку |tнабл| = 1,25 0 и а при отрицательной – tкр = 2,1, |tнабл (r y,x2-x1)| = 43,06 > tкр = 2,1.

Общий выводпо результатам этапа верификации: так как выполняются все условия верификации, то модель является качественной. Таким образом, прогноз, выполненный по ней, является качественным, т. е. несмещенным, состоятельным и эффективным.

Прогнозирование

Если выполняются все условия верификации, то модель является качественной. В противном случае ее надо усовершенствовать либо на этапе спецификации, либо варьировать выборку. По качественной модели можно прогнозировать значение зависимой переменной при заданных значениях независимых переменных. Точечный прогноз получается подстановкой заданных значений независимых переменных в уравнение регрессии. Интервальный прогноз – это интервал значений зависимой переменной, содержащий с вероятностью 0,95 истинное ее значение при заданных значениях независимых переменных. Центр интервала равен точечному прогнозу, концы интервалов получены прибавлением и вычитанием произведения стандартной ошибки прогноза на критическое значение t-статистики, т. е. Средняя стандартная ошибка прогноза S * в матричной форме определяется по формуле где S – стандартная ошибка регрессии; – матрица заданных для построения прогноза значений независимых переменных x1 = p1, x2 = p2; – матрица, составленная из столбца n единиц, столбца n значений переменной x1 и столбца n значений переменной x2 из исходных данных; Т – индекс, обозначающий операцию транспонирования матрицы.

Поскольку выполняются все условия верификации, то модель является качественной. Следовательно, прогноз, выполненный по ней, является качественным: несмещенным, состоятельным и эффективным. На листе «Регрессия»рассчитан точечный прогноз фактора у, который равен 699,53. На листе «Интервальный прогноз» получен интервальный прогноз (697,38; 701,68), который означает, что с вероятностью 0,95 любое значение из этого интервала является оценкой фактора y.

Вопросы для самоконтроля

1. Каковы этапы построения эконометрической модели?

2. Какова краткая характеристика цели каждого этапа?

3. Знания из каких научных дисциплин необходимы на каждом из этапов эконометрического моделирования?

4. В чем заключается спецификация модели множественной регрессии?

5. Почему в уравнении регрессии присутствует случайная переменная?

6. Как определить силу и направленность взаимодействия факторов?

7. Что означает значимость коэффициента корреляции?

8. Как проверить на значимость коэффициент корреляции?

9. В чем заключается суть МНК для нахождения оценок параметров регрессии?

10. Почему с помощью МНК находятся оценки параметров, а не их точные значения?

11. Какая оценка параметра называется точечной?

12. В чем заключается суть интервальной оценки параметров?

13. Как найти интервальные оценки коэффициентов регрессии?

14. Как используются стандартные ошибки регрессии и стандартные ошибки коэффициентов регрессии при анализе оценок параметров регрессии?

15. В чем заключается экономический смысл параметров модели регрессии?

16. Как можно оценить общее качество уравнения регрессии?

17. Какова суть коэффициента детерминации, нормированного коэффициента детерминации? В каких пределах они изменяются?

18. Какова связь между коэффициентом детерминации, коэффициентом корреляции и множественным коэффициентом корреляции для множественной регрессии?

19. Для какой цели в парной регрессии используется критерий Фишера?

20. Как получить остатки для модели парной регрессии?

21. Какому условию должны удовлетворять остатки, чтобы для проверки статистических гипотез можно было использовать критерий Стьюдента?

22. Какое распределение называется нормальным? Каковы его параметры?

23. Какими способами можно проверить нормальность распределения остатков?

24. Как используется критерий согласия Пирсона для проверки гипотезы о нормальном законе распределения остатков?

25. Для чего и как проверяется значимость коэффициентов регрессии?

26. Какими свойствами должны обладать оценки параметров регрессии?

27. Каковы основные предпосылки применения МНК для построения регрессионной модели?

28. Каковы последствия невыполнимости предпосылок применения МНК?

29. Как сформулировать теорему Гаусса–Маркова?

30. Как проверить центрированность остатков?

31. В чем заключается суть гетероскедастичности (гомоскедастичности) остатков?

32. Каковы причины и последствия гетероскедастичности остатков?

33. Как определить гомоскедастичность остатков?

34. В чем заключается суть автокорреляции остатков? Каковы ее последствия?

35. Как проверить гипотезу об отсутствии автокорреляции остатков с помощью критерия Дарбина–Уотсона?

36. Как проверить гипотезу об отсутствии автокорреляции остатков визуально?

37. Что характеризуют средние коэффициенты эластичности?

38. Для чего используются частные коэффициенты корреляции? Как они рассчитываются?

39. Каковы последствия мультиколлинеарности остатков?

40. Что представляет собой прогнозирование?

41. Как получить точечный прогноз зависимого фактора?

42. Как получить интервальный прогноз зависимого фактора?

Индивидуальное задание

· исследуйте зависимость фактора у от факторов x₁ и x₂, используя данные наблюдений, приведенные в таблице 1, прибавив к значениям фактора y величину 10 × к, где к – номер в журнале;

· постройте регрессионную модель ;

· рассчитайте значение фактора у, если x₁ = 35 и x₂ = 10;

II. НЕЛИНЕЙНАЯ РЕГРЕССИЯ

Постановка задачи

Исследуйте зависимость фактора у от фактора х, используя данные наблюдений, приведенные в таблице 15. Постройте регрессионную модель Рассчитайте значение показателя у при х = 230.

Таблица 15 – Данные наблюдений

Источник