Линейная модель парной регрессии смысл и оценка параметров

Модель парной линейной регрессии

Вы будете перенаправлены на Автор24

Понятие линейной регрессии

Линейная регрессия – это математический метод установления зависимости между двумя переменными.

Теоретическая экономика строится на математических вычислениях и моделировании, которые позволяют описывать события, явления, динамику их изменения. Так же язык математики позволяет прогнозировать будущее положение экономических систем, субъектов и объектов.

Теория вероятности использует регрессию, как метод математической статистики. Она позволяет выявить прямую зависимость между величинами случайной природы. Основным отличием регрессии от функциональной зависимости является факт того, что одному и тому же значению искомой переменной может соответствовать множество других переменных.

Линейная регрессия представляет зависимость в виде линейной модели с учетом ошибки распределения. При этом значения каждой величины заранее неизвестны. Параметры для уравнения описывают выборочные оценки, важные для конкретного исследования. Обычно для исчисления используются экспериментальные данные.

Модель линейной регрессии активно применяется в эконометрике. Она удобна для изучения свойств оценок параметров, а так же для исследования случайных ошибок модели. С точки зрения эконометрической науки линейность чаще всего применяется для параметров, а не для факторов. Линейная модель может иметь константу, либо рассматриваться без нее. В этом случае первый фактор модели будет равным единице, либо останется обычным фактором.

Существует частный случай парной простейшей регрессии. В этом случае на модель воздействует только один фактор. Если количество факторов увеличивается, что регрессия становится множественной. В практической деятельности линейную регрессию применятся для расчета затрат организации, потребительских расходов.

Готовые работы на аналогичную тему

Парная линейная регрессия

Зависимость меду одной переменной и средним показателем другой называется парной линейной регрессией.

Модель математически записывается следующим образом:

где x – факторная переменная, y – зависимая, e – отклонение или остаток

Решение подобных задач в математике проводится по определенному алгоритму, который позволяет найти уравнение регрессии. Для этого необходимо выполнить следующие шаги:

Парная регрессия позволяет установить связь между несколькими переменными. Ее называют однофактороной, если одна независимая величина влияет на другой зависимый элемент уравнения. В практической деятельности парная регрессия используется для прогнозирования, поиска утерянных неизвестных. Если она строится для генеральной совокупности, то необходимо чтобы данные о каждом элементе были доступны. Обычно, на практике исследователь не обладает полной информацией, поэтому он использует данные об элементах из некоторой статистической выборки.

Чтобы рассмотреть генеральную совокупность, параметры заменяются на те, что известны в выборке. То есть свободный член регрессии генеральной совокупности заменяется соответствующим из выборки, параметры которой заранее известны. Такая же замена происходит для коэффициента направления регрессии.

Применение метода наименьших квадратов в парной регрессии

Если исследователь изначально знает, что зависимость между фактором и переменной линейная, то он выражает ее в форме стандартного линейного уравнения y = ax + b. Задача заключается в поиску группы точек, которые помогут построить оптимальную для заданных параметров прямую. Эта прямая и будет демонстрировать распределение точек парной линейной регрессии. Значение коэффициентов или параметров уравнения осуществляется с помощью метода наименьших квадратов.

Метод наименьших квадратов является математическим. Он применяется для решения различных задач, чтобы минимизировать отклонения результатов исследования при заданных условиях. Его применяют для решения уравнений в случае их переопределения, в случае, если количество уравнений превышает количество неизвестных, а так же для приближения точечных значений. Метод наименьших квадратов является базовым для регрессионного анализа.

Сущность метода заключается в подборе таких значений неизвестных, которые позволяет построить наиболее точную функцию к заранее заданным значениям. То есть, метод позволяет выбрать «меру близости» для левой и правой части уравнения. В регрессионном анализе он используется для уточнения заданной функциональной связи. Если в регрессионной модели единственным регрессором стала константа, то метод наименьших квадратов покажет, что она равна среднему значению той переменной, которую можно объяснить.

Уравнение регрессии устанавливает связь между фактором и результатом. Чтобы определить тип будущего уравнения строят зависимость графически. Но есть другие рекомендации, которые позволяют установить форму связи без дополнительных построений. Если факторный и результативный признаки изменяются одинаково, то между ними существует линейная связь. Если процесс идет неравномерно или в обратную сторону, то связь является гиперболической. Оценка параметров такого уравнения проводится методом наименьших квадратов. Он предполагает, что переменные независимы. Выбранный уровень регрессии должен сводить сумму квадратов отклонений к минимуму. Проверка в этом случае будет считаться законченной.

Источник

Парная линейная регрессия. Задачи регрессионного анализа

Будут и задачи для самостоятельного решения, к которым можно посмотреть ответы.

Понятие линейной регрессии. Парная линейная регрессия

Если в результате наблюдения установлено, что при каждом определённом значении x существует сколько-то (n) значений переменной y, то зависимость средних арифметических значений y от x и является регрессией в статистическом понимании.

Если установленная зависимость может быть записана в виде уравнения прямой

то эта регрессионная зависимость называется линейной регрессией.

О парной линейной регрессии говорят, когда установлена зависимость между двумя переменными величинами (x и y). Парная линейная регрессия называется также однофакторной линейной регрессией, так как один фактор (независимая переменная x) влияет на результирующую переменную (зависимую переменную y).

В уроке о корреляционной зависимости были разобраны примеры того, как цена на квартиры зависит от общей площади квартиры и от площади кухни (две различные независимые переменные) и о том, что результаты наблюдений расположены в некотором приближении к прямой, хотя и не на самой прямой. Если точки корреляционной диаграммы соединить ломанной линией, то будет получена линия эмпирической регрессии. А если эта линия будет выровнена в прямую, то полученная прямая будет прямой теоретической регрессии. На рисунке ниже она красного цвета (для увеличения рисунка щёлкнуть по нему левой кнопкой мыши).

По этой прямой теоретической регрессии может быть сделан прогноз или восстановление неизвестных значений зависимой переменной по заданным значениям независимой переменной.

В случае парной линейной регрессии для данных генеральной совокупности связь между независимой переменной (факториальным признаком) X и зависимой переменной (результативным признаком) Y описывает модель

,

— свободный член прямой парной линейной регрессии,

— коэффициент направления прямой парной линейной регрессии,

— случайная погрешность,

Уравнение парной линейной регрессии для генеральной совокупности можно построить, если доступны данные обо всех элементах генеральной совокупности. На практике данные всей генеральной совокупности недоступны, но доступны данные об элементах некоторой выборки.

Поэтому параметры генеральной совокупности оценивают при помощи соответствующих параметров соответствующей выборки: свободный член прямой парной линейной регрессии генеральной совокупности заменяют на свободный член прямой парной линейной регрессии выборки , а коэффициент направления прямой парной линейной регрессии генеральной совокупности — на коэффициент направления прямой парной линейной регрессии выборки .

В результате получаем уравнение парной линейной регрессии выборки

— оценка полученной с помощью модели линейной регрессии зависимой переменной Y,

— погрешность,

Чтобы уравнение парной линейной регрессии было более похоже на привычное уравнение прямой, его часто также записывают в виде

.

Уравнение парной линейной регрессии и метод наименьших квадратов

Определение коэффициентов уравнения парной линейной регрессии

.

Если через и обозначить средние значения признаков X и Y,то полученная с помощью метода наименьших квадратов функция регрессии удовлетворяет следующим условиям:

Условие метода наименьших квадратов выполняется, если значения коэффициентов равны:

,

.

Пример 1. Найти уравнение парной линейной регрессии зависимости между валовым внутренним продуктом (ВВП) и частным потреблением на основе данных примера урока о корреляционной зависимости (эта ссылка, которая откроется в новом окне, потребуется и при разборе следующих примеров).

Решение. Используем рассчитанные в решении названного выше примера суммы:

Используя эти суммы, вычислим коэффициенты:

Таким образом получили уравнение прямой парной линейной регрессии:

Составить уравнение парной линейной регрессии самостоятельно, а затем посмотреть решение

Пример 2. Найти уравнение парной линейной регрессии для выборки из 6 наблюдений, если уже вычислены следующие промежуточные результаты:

;

;

;

;

Анализ качества модели линейной регрессии

Метод наименьших квадратов имеет по меньшей мере один существенный недостаток: с его помощью можно найти уравнение линейной регрессии и в тех случаях, когда данные наблюдений значительно рассеяны вокруг прямой регрессии, то есть находятся на значительном расстоянии от этой прямой. В таких случаях за точность прогноза значений зависимой переменной ручаться нельзя. Существуют показатели, которые позволяют оценить качество уравнения линейной регрессии прежде чем использовать модели линейной регрессии для практических целей. Разберём важнейшие из этих показателей.

Коэффициент детерминации

Коэффициент детерминации принимает значения от 0 до 1 и в случае качественной модели линейной регрессии стремится к единице. Коэффициент детерминации показывает, какую часть общего рассеяния зависимой переменной объясняет независимая переменная:

,

— сумма квадратов отклонений, объясняемых моделью линейной регрессии, которая характеризует рассеяние точек прямой регрессии относительно арифметического среднего,

— общая сумма квадратов отклонений, которая характеризует рассеяние зависимой переменной Y относительно арифметического среднего,

— сумма квадратов отклонений ошибки (не объясняемых моделью линейной регрессии), которая характеризует рассеяние зависимой переменной Y относительно прямой регресии.

Пример 3. Даны сумма квадратов отклонений, объясняемых моделью линейной регрессии (3500), общая сумма квадратов отклонений (5000) и сумма квадратов отклонений ошибки (1500). Найти коэффициент детерминации двумя способами.

F-статистика (статистика Фишера) для проверки качества модели линейной регрессии

Сумма квадратов остатков

Сумма квадратов остатков (RSS) измеряет необъясненную часть дисперсии зависимой переменной:

—

В случае качественной модели линейной регрессии сумма квадратов остатков стремится к нулю.

Стандартная ошибка регрессии

Стандартная ошибка регрессии (SEE) измеряет величину квадрата ошибки, приходящейся на одну степень свободы модели:

Чем меньше значение SEE, тем качественнее модель.

Пример 4. Рассчитать коэффициент детерминации для данных из примера 1.

Получаем коэффициент детерминации:

.

Таким образом, 83,6% изменений частного потребления можно объяснить моделью линейной регресии.

Интерпретация коэффициентов уравнения парной линейной регрессии и прогноз значений зависимой переменной

Итак, уравнение парной линейной регрессии:

.

Интерпретация свободного члена: a показывает, на сколько единиц график регрессии смещён вверх при x=0, то есть значение переменной y при нулевом значении переменной x.

Интерпретация коэффициента при независимой переменной: b показывает, на сколько единиц изменится значение зависимой переменной y при изменении x на одну единицу.

Пример 5. Зависимость частного потребления граждан от ВВП (истолкуем это просто: от дохода) описывается уравнением парной линейной регрессии . Сделать прогноз потребления при доходе в 20 000 у.е. Выяснить, на сколько увеливается потребление при увеличении дохода на 5000 у.е. Меняется ли потребление, если доход не меняется?

Если доход не меняется, то x i = 0 и получаем, что потребление уменьшается на 129,5338 у.е.

Задачи регрессионного анализа

Наиболее частые задачи регрессионного анализа:

Также делаются проверки статистических гипотез о регрессии. Кроме того, при изучении связи между двумя величинами по результатам наблюдений в соответствии с теорией регрессии предполагается, что зависимая переменная имеет некоторое распределение вероятностей при фиксированном значении независимой переменной.

В исследованиях поведения человека, чтобы они претендовали на объективность, важно не только установить зависимость между факторами, но и получить все необходимые статистические показатели для результата проверки соответствующей гипотезы.

Проверка гипотезы о равенстве нулю коэффициента направления прямой парной линейной регрессии

Если это предположение верно, то изменения независимой переменной X не влияют на изменения зависимой переменной Y: переменные X и Y не коррелированы, то есть линейной зависимости Y от X нет.

рассматривают во взаимосвязи с альтернативной гипотезой

.

Статистика коэффициента направления

Доверительный интервал коэффициента направления прямой линейной регрессии:

.

Пример 6. На основе данных из предыдущих примеров (о ВВП и частном потреблении) определить доверительный интервал коэффициента направления прямой линейной регресии 95% и проверить гипотезу о равенстве нулю коэффициента направления прямой парной линейной регрессии.

Можем рассчитать, что , а стандартная погрешность регрессии .

Таким образом, стандартная погрешность коэффициента направления прямой линейной регресии b 1 :

.

Так как и (находим по таблице в приложениях к учебникам по статистике), то доверительный интервал 95% коэффициента направления прямой парной линейной регрессии:

.

Источник

03. Линейная модель парной регрессии и корреляции

Рассмотрим простейшую модель парной регрессии – Линейную Регрессию. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида

или . (1.1)

Уравнение вида позволяет по заданным значениям фактора X находить теоретические значения результирующего показателя, подставляя в него фактические значения фактора X.

Построение линейной регрессии сводится к оценке ее параметров – A и B. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров A и B, при которых сумма квадратов отклонений фактических значений результирующего показателя Y от теоретических минимальна:

. (1.2)

Т. е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 1.2):

Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.

Как известно из курса математического анализа, чтобы найти минимум функции (1.2), надо вычислить частные производные по каждому из параметров A и B и приравнять их к нулю. Обозначая через , получим:

(1.3)

После несложных преобразований, получим следующую систему линейных уравнений для оценки параметров A и B:

(1.4)

Решая систему уравнений (1.4), найдем искомые оценки параметров A и B. Можно воспользоваться готовыми формулами, которые следуют непосредственно из решения системы (1.4):

, , (1.5)

Где – ковариация признаков X и Y, – дисперсия признака X и

, , , .

Ковариация – числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий. Дисперсия – характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания. Математическое Ожидание – сумма произведений значений случайной величины на соответствующие вероятности (см. Приложение 1).

Параметр B называется Коэффициентом Регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

Формально A – значение Y при . Если фактор X не может иметь нулевого значения, то тогда трактовка свободного члена A не имеет смысла, т. е. параметр A может не иметь экономического содержания.

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции , который можно рассчитать по следующим формулам:

. (1.6)

Линейный коэффициент корреляции находится в пределах: . Чем ближе абсолютное значение к единице, тем сильнее линейная связь между факторами (при имеем строгую функциональную зависимость). Однако близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При другой (нелинейной) спецификации модели связь между признаками может оказаться достаточно тесной.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый Коэффициентом Детерминации. Коэффициент детерминации характеризует долю дисперсии результирующего показателя Y, объясняемую регрессией, в общей дисперсии результирующего показателя:

, (1.7)

Где , .

Соответственно величина характеризует долю дисперсии Y, вызванную влиянием остальных, не учтенных в модели, факторов.

После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.

Проверить значимость уравнения регрессии – означает установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют Среднюю Ошибку Аппроксимации:

. (1.8)

Средняя ошибка аппроксимации не должна превышать 8–10%.

Оценка Значимости Уравнения Регрессии В целом Производится На Основе F—Критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.

Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной Y от среднего значения раскладывается на две части – «объясненную» и «необъясненную»:

,

Где – общая сумма квадратов отклонений; – сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений); – остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов.

Схема дисперсионного анализа имеет вид, представленный в таблице 1.1 (N – число наблюдений, M – число параметров при переменной X).

Источник