с помощью коэффициента детерминации можно оценить качество уравнения регрессии в целом

Пример нахождения коэффициента детерминации

Коэффициент детерминации рассчитывается для оценки качества подбора уравнения регрессии. Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 50%. Модели с коэффициентом детерминации выше 80% можно признать достаточно хорошими. Значение коэффициента детерминации R 2 = 1 означает функциональную зависимость между переменными.

В случае нелинейной регрессии коэффициент детерминации рассчитывается через этот калькулятор. При множественной регрессии, коэффициент детемрминации можно найти через сервис Множественная регрессия

Уравнение имеет вид y = ax + b
1. Параметры уравнения регрессии.
Средние значения

Связь между признаком Y фактором X сильная и прямая.
Уравнение регрессии

Анализ точности определения оценок коэффициентов регрессии

S _a = 3.3432
Доверительные интервалы для зависимой переменной

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X = 1
(-557.64;913.38)
Проверка гипотез относительно коэффициентов линейного уравнения регрессии
1) t-статистика

Статистическая значимость коэффициента регрессии a подтверждается (6.95>1.812).

Статистическая значимость коэффициента регрессии b не подтверждается (0.96 Fkp, то коэффициент детерминации статистически значим

Источник

Оценка параметров уравнения регреcсии. Пример

Задание:
По группе предприятий, выпускающих один и тот же вид продукции, рассматриваются функции издержек:
y = α + βx;
y = α x β ;
y = α β x ;
y = α + β / x;
где y – затраты на производство, тыс. д. е.
x – выпуск продукции, тыс. ед.

1. Уравнение имеет вид y = α + βx
1. Параметры уравнения регрессии.
Средние значения

Связь между признаком Y фактором X сильная и прямая
Уравнение регрессии

2. Оценка параметров уравнения регрессии
Значимость коэффициента корреляции

Анализ точности определения оценок коэффициентов регрессии

S a = 0.1712
Доверительные интервалы для зависимой переменной

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X = 1
(-20.41;56.24)
Проверка гипотез относительно коэффициентов линейного уравнения регрессии
1) t-статистика

Статистическая значимость коэффициента регрессии a подтверждается

Fkp = 4.84
Поскольку F > Fkp, то коэффициент детерминации статистически значим

Источник

Пример нахождения статистической значимости коэффициентов регрессии

Связь между признаком Y фактором X сильная и прямая
Уравнение регрессии

Анализ точности определения оценок коэффициентов регрессии

S _a = 0.2704
Доверительные интервалы для зависимой переменной

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X = 88,16
(128.06;163.97)
Проверка гипотез относительно коэффициентов линейного уравнения регрессии
1) t-статистика

Статистическая значимость коэффициента регрессии a подтверждается (3.41>1.812).

Fkp = 4.96
Поскольку F > Fkp, то коэффициент детерминации статистически значим.

Коэффициент корреляции
Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

Т.е. увеличение x на величину среднеквадратического отклонения этого показателя приведет к увеличению средней среднедневной заработной платы Y на 0.721 среднеквадратичного отклонения этого показателя.
1.4. Ошибка аппроксимации.
Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации.

2.3. Анализ точности определения оценок коэффициентов регрессии.
Несмещенной оценкой дисперсии возмущений является величина:

2.4. Доверительные интервалы для зависимой переменной.
Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя.
(a + bx_p ± ε)
где
Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X _p = 94

(76.98 + 0.92*94 ± 7.8288)
(155.67;171.33)
С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
1) t-статистика. Критерий Стьюдента.
Проверим гипотезу H₀ о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H₁ не равно) на уровне значимости α=0.05.
t_крит = (10;0.05) = 1.812

Поскольку 3.2906 > 1.812, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H₀: R 2 =0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:

где m=1 для парной регрессии.
3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 1 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=1 и k2=10, Fkp = 4.96
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (Найденная оценка уравнения регрессии статистически надежна).

Источник

R — значит регрессия

Статистика в последнее время получила мощную PR поддержку со стороны более новых и шумных дисциплин — Машинного Обучения и Больших Данных. Тем, кто стремится оседлать эту волну необходимо подружится с уравнениями регрессии. Желательно при этом не только усвоить 2-3 приемчика и сдать экзамен, а уметь решать проблемы из повседневной жизни: найти зависимость между переменными, а в идеале — уметь отличить сигнал от шума.

Для этой цели мы будем использовать язык программирования и среду разработки R, который как нельзя лучше приспособлен к таким задачам. Заодно, проверим от чего зависят рейтинг Хабрапоста на статистике собственных статей.

Введение в регрессионный анализ

Основу регрессионного анализа составляет метод наименьших квадратов (МНК), в соответствии с которым в качестве уравнения регресии берется функция такая, что сумма квадратов разностей минимальна.

Карл Гаусс открыл, или точнее воссоздал, МНК в возрасте 18 лет, однако впервые результаты были опубликованы Лежандром в 1805 г. По непроверенным данным метод был известен еще в древнем Китае, откуда он перекочевал в Японию и только затем попал в Европу. Европейцы не стали делать из этого секрета и успешно запустили в производство, обнаружив с его помощью траекторию карликовой планеты Церес в 1801 г.

Вид функции , как правило, определен заранее, а с помощью МНК подбираются оптимальные значения неизвестных параметров. Метрикой рассеяния значений вокруг регрессии является дисперсия.

Линейная регрессия

Уравнения линейной регрессии можно записать в виде

В матричном виде это выгладит

Случайная величина может быть интерпретирована как сумма из двух слагаемых:

Ограничения линейной регрессии

Для того, чтобы использовать модель линейной регрессии необходимы некоторые допущения относительно распределения и свойств переменных.

Как обнаружить, что перечисленные выше условия не соблюдены? Ну, во первых довольно часто это видно невооруженным глазом на графике.

Неоднородность дисперсии

При возрастании дисперсии с ростом независимой переменной имеем график в форме воронки.

Нелинейную регрессии в некоторых случая также модно увидеть на графике довольно наглядно.

Тем не менее есть и вполне строгие формальные способы определить соблюдены ли условия линейной регрессии, или нарушены.

В этой формуле — коэффициент взаимной детерминации между и остальными факторами. Если хотя бы один из VIF-ов > 10, вполне резонно предположить наличие мультиколлинеарности.

Почему нам так важно соблюдение всех выше перечисленных условий? Все дело в Теореме Гаусса-Маркова, согласно которой оценка МНК является точной и эффективной лишь при соблюдении этих ограничений.

Как преодолеть эти ограничения

Нарушения одной или нескольких ограничений еще не приговор.

К сожалению, не все нарушения условий и дефекты линейной регрессии можно устранить с помощью натурального логарифма. Если имеет место автокорреляция возмущений к примеру, то лучше отступить на шаг назад и построить новую и лучшую модель.

Линейная регрессия плюсов на Хабре

Итак, довольно теоретического багажа и можно строить саму модель.
Мне давно было любопытно от чего зависит та самая зелененькая цифра, что указывает на рейтинг поста на Хабре. Собрав всю доступную статистику собственных постов, я решил прогнать ее через модель линейно регрессии.

Загружает данные из tsv файла.

Вопреки моим ожиданиям наибольшая отдача не от количества просмотров статьи, а от комментариев и публикаций в социальных сетях. Я также полагал, что число просмотров и комментариев будет иметь более сильную корреляцию, однако зависимость вполне умеренная — нет надобности исключать ни одну из независимых переменных.

В первой строке мы задаем параметры линейной регрессии. Строка points

. определяет зависимую переменную points и все остальные переменные в качестве регрессоров. Можно определить одну единственную независимую переменную через points

Перейдем теперь к расшифровке полученных результатов.

Можно попытаться несколько улучшить модель, сглаживая нелинейные факторы: комментарии и посты в социальных сетях. Заменим значения переменных fb и comm их степенями.

Проверим значения параметров линейной регрессии.

Проверим, соблюдены ли условия применимости модели линейной регрессии? Тест Дарбина-Уотсона проверяет наличие автокорреляции возмущений.

И напоследок проверка неоднородности дисперсии с помощью теста Бройша-Пагана.

В заключение

Конечно наша модель линейной регрессии рейтинга Хабра-топиков получилось не самой удачной. Нам удалось объяснить не более, чем половину вариативности данных. Факторы надо чинить, чтобы избавляться от неоднородной дисперсии, с автокорреляцией тоже непонятно. Вообще данных маловато для сколь-нибудь серьезной оценки.

Но с другой стороны, это и хорошо. Иначе любой наспех написанный тролль-пост на Хабре автоматически набирал бы высокий рейтинг, а это к счастью не так.

Источник

С помощью коэффициента детерминации можно оценить качество уравнения регрессии в целом

2.4. Проверка адекватности регрессионной модели

2.4.1. Коэффициент детерминации

Представим отклонение зависимой переменной от ее выборочного среднего в виде

Рассмотрим последнее слагаемое в правой части этого выражения. Имеем:

Далее, вспоминая доказанные в п. 2.3.2 свойства остатков (соотношения ( 2.20 ), ( 2.21 ))

и, таким образом, окончательно можем записать

Здесь мы использовали следующие соотношения:

(это следует из первого уравнения системы нормальных уравнений ( 2.11 ), ( 2.12 ), (здесь использовано свойство ( 2.20 ) остатков). Из ( 2.26 ) следует, что полную вариацию переменной y можно разложить на две составляющие: — это часть полной вариации, объясненная регрессией, и — необъясненная часть полной вариации, которая обусловлена случайной составляющей модели. Разложения ( 2.25 ) и ( 2.26 ) используются для определения коэффициента детерминации.

Первое представление коэффициента детерминации

Определим коэффициент детерминации следующим соотношением

Выражению ( 2.27 ) можно дать следующую интерпретацию: это доля общей вариации зависимой переменной, объясненная линейной регрессией.

Второе представление коэффициента детерминации

Формула ( 2.28 ) (или эквивалентная ей формула ( 2.29 )) дает вторую форму представления коэффициента детерминации.

Обозначим остаточную сумму квадратов

Тогда можно записать соотношение

которое представляет собой разложение полной суммы квадратов на сумму квадратов, объясненную моделью, и остаточную сумму квадратов. Используя эти три суммы, можно записать также, что

Таким образом, значение коэффициента детерминации тем выше, чем больше доля объясненной моделью суммы квадратов ESS по отношению к полной сумме квадратов TSS.

Термины «полная» и «объясненная моделью» суммы квадратов имеют следующий смысл. Полная сумма квадратов TSS = RSS в ситуации, когда b = 0 и «наилучшая» прямая имеет вид , то есть линейная зависимость y от x отсутствует. Вследствие этого, наблюдения переменной x не дают новой информации для объяснения изменений значений y от наблюдения к наблюдению. В этом случае значение коэффициента детерминации равно нулю. Его максимальное значение равно единице. Это соответствует случаю, когда RSS = 0 или, что равноценно, Var(e) = 0, то есть влияние случайной составляющей полностью отсутствует и можно построить точную линейную зависимость между переменными.

Третье представление коэффициента детерминации

Введем понятие коэффициента корреляции между фактическим значением переменной y и ее прогнозом

Коэффициент корреляции является относительным показателем статистической (линейной) взаимосвязи между случайными переменными. Можно ожидать, что чем больше этот коэффициент, тем лучше регрессия аппроксимирует наблюдаемые данные.

Используя правила действий с выборочными вариациями и ковариациями (см. п. 2.3.2 ), нетрудно видеть, что

Здесь мы использовали также следующее соотношение: , которое следует из свойств ( 2.20 ) и ( 2.21 ) остатков регрессии.

Таким образом, мы получили третье выражение для коэффициента детерминации:

Отметим, что минимизация суммы квадратов остатков (МНК-критерий) эквивалентна максимизации коэффициента детерминации. Действительно,

и, таким образом, минимизация суммы квадратов остатков приводит к максимизации коэффициента R 2 в выражении ( 2.29 ).

При построении модели парной линейной регрессии следует добиваться, чтобы значение коэффициента детерминации было как можно ближе к единице. Для его вычисления проще и удобнее использовать формулу ( 2.28 ).

2.4.2. Построение доверительных интервалов для коэффициентов регрессии

Оценки дисперсий МНК-оценок коэффициентов

Одной из важных характеристик качества оценки является ее дисперсия, как мера отклонения относительно ожидаемого значения. Полученные ранее уравнения ( 2.22 ), ( 2.23 ) (или ( 2.24 )) для дисперсий оценок зависят от неизвестной дисперсии случайной составляющей регрессионной модели u. Для того, что бы эти уравнения можно было использовать в практических расчетах, необходимо определить оценку величины . Это еще один параметр модели. Несмещенной оценкой дисперсии случайного члена u является оценка вида

Выражение ( 2.30 ) используется для вычисления оценок дисперсий оценок a и b коэффициентов регрессии. Для этого в уравнениях ( 2.22 ), ( 2.23 ), ( 2.24 ) теоретическая дисперсия заменяется ее оценкой ( 2.30 ). Таким образом, оценки дисперсий имеют вид

Определение доверительных интервалов оценок параметров модели

t-тесты основаны на следующем важном утверждении: случайные переменные

Замечание относительно степеней свободы.

Количество степеней свободы равно количеству наблюдений переменных минус количество оцениваемых коэффициентов модели. В модели парной линейной регрессии таких коэффициентов всего два. Увеличение количества коэффициентов в модели регрессии при фиксированном размере выборки соответственно уменьшает количество степеней свободы.

Очевидно, что погрешности точечных оценок коэффициентов равны соответственно , . Это случайные величины, поскольку случайными являются сами оценки. Поэтому о точности оценок (об их погрешности) можно судить только в вероятностном смысле. Зададим ширину интервала погрешности (не случайную величину), и определим надежность оценки, как вероятность, с которой ошибка точечной оценки попадет в этот фиксированный интервал. Формально это можно записать так

Соотношения ( 2.35 ), ( 2.36 ) можно переписать в виде

Интерпретация доверительных интервалов.

Определение доверительных интервалов.

Подставляя в ( 2.39 ) вместо t выражения статистик ( 2.33 ) и ( 2.34 ) и разрешая неравенства относительно параметров и , получим следующие соотношения

Таким образом, двусторонние симметричные доверительные интервалы

Постройте доверительные интервалы для моделей примеров 2.1, 2.2. при уровне значимости .

2.4.3. Точечный и интервальный прогноз зависимой переменной

Определим прогноз среднего значения зависимой переменной как оценку теоретической взаимосвязи с помощью эмпирической (оцененной) регрессионной функции

Замечание. Прогноз среднего значения и прогноз индивидуального значения зависимой переменной.

Рассмотрим сначала прогноз среднего зависимой переменной.

Дисперсия прогноза среднего зависимой переменной и ее оценка

Получим выражение для дисперсии прогноза. Имеем

где взаимная ковариация имеет вид

Подставляя в ( 2.43 ) выражения ( 2.22 ), ( 2.23 ) для дисперсий оценок параметров и взаимной ковариации ( 2.44 ), получим

Таким образом, окончательно имеем

Определение доверительных интервалов для прогноза среднего значения зависимой переменной

Определим доверительный интервал для прогноза ( 2.42 ) зависимой переменной. Этот интервал с вероятностью накрывает среднее значение зависимой переменной. Построение доверительного интервала основано на применении t-статистики вида

и его границы вычисляются по следующим формулам:

Доверительный интервал для отдельных значений зависимой переменной (значений в отдельных наблюдениях, индивидуальных значений)

Дисперсия отдельных наблюдений зависимой переменной и ее оценка

Определим дисперсию наблюдаемых значений зависимой переменной

Заменяя в ( 2.47 ) неизвестные теоретические значения дисперсий и их оценками по формулам ( 2.46 ) и ( 2.30 ), получим оценку дисперсии индивидуального значения зависимой переменной

Доверительный интервал для индивидуальных значений зависимой переменной

Доверительный интервал для индивидуальных значений строится с использованием t-статистики вида

Границы интервала, с вероятностью накрывающего индивидуальное значение переменной y, определяются следующим образом:

где количество степеней свободы p = n-2.

Пример 2.8. Доверительные границы прогнозов среднего и индивидуального значений зависимой переменной в модели примера 2.1.

Используя уравнение регрессии с оцененными коэффициентами (см. пример 1.1.), получим

Для определения доверительных интервалов необходимо предварительно вычислить оценки дисперсий прогноза среднего и индивидуального значений зависимой переменной. Используя формулы ( 2.46 ) и ( 2.47 ), соответственно получим: , . Границы для среднего значения равны:

Доверительные границы индивидуального значения:

Постройте интервальные прогнозы средних и индивидуальных значений зависимой переменной для регрессий примера 2.2.

2.4.4. Проверка статистических гипотез относительно коэффициентов регрессии

Помимо определения доверительных интервалов для коэффициентов, при построении регрессионных моделей важным является вопрос о проверке гипотез относительно некоторых конкретных значений отдельных коэффициентов регрессии. Такой вопрос возникает, например, если необходимо проверить, статистически значимо ли влияние регрессора (независимой переменной) на регрессанд (зависимую переменную). В этом случае можно сформулировать и попытаться проверить две гипотезы:

В общем случае, если на основе анализа объекта моделирования можно заранее (то есть еще до проведения наблюдений) предположить (высказать гипотезу), что регрессионный коэффициент равен некоторому значению , то для проверки этого предположения гипотезы формулируются следующим образом:

Тесты для проверки гипотез строятся на основе t-статистики вида

, или

(эквивалентная запись этого условия );

(эквивалентная запись ).

Ошибки I и II рода.

Интерпретация результатов тестирования.

Односторонний t-тест
(t-тест односторонней пары гипотез)

С помощью одностороннего t-теста проверяют предположение (гипотезу) о том, больше или нет коэффициент некоторого заданного значения . Формально это можно сформулировать в виде пары гипотез:

Односторонний t-тест строится также, как двусторонний, однако область принятия решения, естественно, будет отличаться.

Области принятия и отклонения для первой пары гипотез: область принятия гипотезы H₀

область отклонения гипотезы H₀

Области принятия и отклонения для второй пары гипотез: область принятия гипотезы H₀

область отклонения гипотезы H₀

Интерпретация результатов тестирования

Если значения t-статистики попадают в область принятия нулевой гипотезы при заданном уровне значимости , то говорят, что параметр с вероятностью имеет значение большее, чем .

Порядок проведения t-теста.

1. Сформулировать пару гипотез.

2. Определить табличное значение t-критерия для заданного уровня значимости.

5. Сделать вывод относительно возможности принятия гипотезы.

Отметим, что аналогичные тесты строятся и для проверки гипотез относительно коэффициента .

В разделе 2.3.4. мы ввели понятие коэффициента детерминации R 2 как показателя адекватности линейной регрессионной модели (меры степени линейной связи между переменными). Чем выше значение этого показателя, тем более точно линейная регрессия соответствует наблюдаемым данным. Но этот коэффициент определяется по выборочным данным и является в силу этого случайной величиной. Поэтому, даже если линейная связь между переменными y и x в парной линейной регрессии отсутствует (объясненная часть общей вариации зависимой переменной равна нулю), коэффициент детерминации может случайно принять большое значение, либо наоборот, при наличии линейной связи коэффициент детерминации может случайно принять значение, близкое к нулю.

Процедура проверки состоит в следующем:

1. вычисляем коэффициент детерминации;

4. если , то нулевая гипотеза отклоняется на уровне значимости .

Пример 2.9. Проверка значимости коэффициента детерминации.

Источник