Несмещенность оценки параметра регрессии полученной по мнк означает

Множественная регрессия и корреляция

Тестовые задания

Парная регрессия и корреляция

1. Наиболее наглядным видом выбора уравнения парной регрессии является:

2. Рассчитывать параметры парной линейной регрессии можно, если у нас есть:

б) не менее 7 наблюдений;

3. Суть метода наименьших квадратов состоит в:

б) минимизации дисперсии результативного признака;

4. Коэффициент линейного парного уравнения регрессии:

а) показывает среднее изменение результата с изменением фактора на одну единицу;

5. На основании наблюдений за 50 семьями построено уравнение регрессии , где – потребление, – доход. Соответствуют ли знаки и значения коэффициентов регрессии теоретическим представлениям?

6. Суть коэффициента детерминации состоит в следующем:

б) характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака;

7. Качество модели из относительных отклонений по каждому наблюдению оценивает:

а) коэффициент детерминации ;

8. Значимость уравнения регрессии в целом оценивает:

а) -критерий Фишера;

9. Классический метод к оцениванию параметров регрессии основан на:

в) шаговом регрессионном анализе.

10. Остаточная сумма квадратов равна нулю:

11. Объясненная (факторная) сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

б) ;

12. Остаточная сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

в) .

13. Общая сумма квадратов отклонений в линейной парной модели имеет число степеней свободы, равное:

а) ;

14. Для оценки значимости коэффициентов регрессии рассчитывают:

в) коэффициент детерминации .

15. Какое уравнение регрессии нельзя свести к линейному виду:

в) .

16. Какое из уравнений является степенным:

б) :

17. Параметр в степенной модели является:

б) коэффициентом эластичности;

18. Коэффициент корреляции может принимать значения:

19. Для функции средний коэффициент эластичности имеет вид:

б) ;

20. Какое из следующих уравнений нелинейно по оцениваемым параметрам:

в) .

Множественная регрессия и корреляция

1. Добавление в уравнение множественной регрессии новой объясняющей переменной:

б) увеличивает значение коэффициента детерминации;

2. Скорректированный коэффициент детерминации:

в) меньше или равен обычному коэффициенту детерминации;

3. С увеличением числа объясняющих переменных скорректированный коэффициент детерминации:

4. Число степеней свободы для остаточной суммы квадратов в линейной модели множественной регрессии равно:

б) ;

5. Число степеней свободы для общей суммы квадратов в линейной модели множественной регрессии равно:

а) ;

6. Число степеней свободы для факторной суммы квадратов в линейной модели множественной регрессии равно:

в) .

7. Множественный коэффициент корреляции . Определите, какой процент дисперсии зависимой переменной объясняется влиянием факторов и :

8. Для построения модели линейной множественной регрессии вида необходимое количество наблюдений должно быть не менее:

9. Стандартизованные коэффициенты регрессии :

а) позволяют ранжировать факторы по силе их влияния на результат;

10. Частные коэффициенты корреляции:

в) характеризуют тесноту связи между результатом и соответствующим фактором при элиминировании других факторов, включенных в уравнение регрессии.

11. Частный -критерий:

б) служит мерой для оценки включения фактора в модель;

12. Несмещенность оценки параметра регрессии, полученной по МНК, означает:

б) что математическое ожидание остатков равно нулю;

13. Эффективность оценки параметра регрессии, полученной по МНК, означает:

а) что она характеризуется наименьшей дисперсией;

14. Состоятельность оценки параметра регрессии, полученной по МНК, означает:

в) увеличение ее точности с увеличением объема выборки.

15. Укажите истинное утверждение:

в) при наличии гетероскедастичности оценки параметров регрессии становятся смещенными.

16. При наличии гетероскедастичности следует применять:

17. Фиктивные переменные – это:

а) атрибутивные признаки (например, как профессия, пол, образование), которым придали цифровые метки;

18. Если качественный фактор имеет три градации, то необходимое число фиктивных переменных:

Источник

Несмещенность оценки параметра регрессии полученной по мнк означает

3.3. Статистические свойства оценок параметров линейной модели множественной регрессии. Теорема Гаусса-Маркова

Математическое ожидание вектора оценок. Несмещенность оценки

Подставим в формулу ( 3.15 ) для оценки вместо вектора y его выражение (подчеркнем, что здесь мы рассматриваем y и u как случайные величины (векторные), а не конкретные их реализации). Получим

Таким образом, в классической многомерной линейной модели регрессии оценки коэффициентов, полученные по методу наименьших квадратов, являются несмещенными, то есть .

Истинная ковариационная матрица вектора оценок. Эффективность оценки

Истинная ковариационная матрица оценок коэффициентов

Получим выражение для истинной ковариационной матрицы вектора оценок. Ковариационная матрица вектора b по определению равна

Из выражения ( 3.21 ) получаем

Подставляя выражение ( 3.24 ) в ( 3.23 ), будем иметь

или, окончательно имеем

Замечание. Вывод формул для дисперсий коэффициентов парной линейной регрессии.

Из общей формулы ( 3.27 ) можно легко получить формулы ( 2.22 ), ( 2.23 ) для дисперсий коэффициентов парной линейной регрессии, которые ранее были даны без вывода в главе 2 (см. п. 2.3.3. ). Действительно, в случае парной регрессии матрица наблюдений регрессоров X имеет вид

и обратная к ней матрица

Ранее (см. п. 2.2.2. ) мы показали, что имеет место равенство

Умножим обе его части на n, получим

Учитывая это равенство, выпишем уравнения для диагональных элементов ковариационной матрицы в случае парной регрессии, которые и будут дисперсиями соответствующих коэффициентов

Нетрудно убедиться, что полученные формулы совпадают с формулами ( 2.22 ), ( 2.23 ).

Покажем, что оценка наименьших квадратов является эффективной, то есть наилучшей в смысле минимума дисперсий компонент вектора оценок b.

Таким образом, мы получили, что

Далее, поскольку матрица (неотрицательно определенная), то имеет место неравенство

откуда следуют аналогичные неравенства и для диагональных элементов ковариационных матриц, которые являются дисперсиями соответствующих коэффициентов модели

Это и доказывает эффективность МНК-оценок.

Полученные результаты можно сформулировать в виде теоремы.

Теорема Гаусса-Маркова Оценка вида ( 3.15 ) параметров классической многомерной линейной регрессии по методу наименьших квадратов является наилучшей (эффективной) линейной несмещенной оценкой (Best Linear Unbiased Estimator, BLUE).

Источник

Несмещенность оценки параметра регрессии полученной по мнк означает

2.3. Статистические свойства оценок метода наименьших квадратов

Поскольку полученные оценки a и b коэффициентов линейной регрессии основаны на статистических данных и являются случайными величинами, то естественно установить свойства этих оценок, как случайных величин. Более того, не выяснив этих свойств, невозможно сделать обоснованных выводов относительно качества и надежности полученных оценок. Необходимо, в частности, определить такие их статистические характеристики, как математическое ожидание и дисперсия. К желательным свойствам оценок относятся также несмещенность и состоятельность. Далее, если бы удалось определить вид распределения (плотности распределения) оценок, можно было бы построить доверительные интервалы для истинных значений параметров регрессии (то есть получить интервальные оценки коэффициентов) и реализовать процедуры проверки гипотез относительно их значений. Важную роль играет также изучение статистических свойств остатков оцененной регрессии.

Все эти задачи можно решить, основываясь на некоторых правдоподобных теоретических предпосылках (гипотезах) модели, выполнение которых на практике подлежит проверке с помощью специально разработанных для этого статистических процедур.

Предположение относительно независимых переменных

Предположения относительно случайной составляющей модели

При выполнении предпосылки относительно переменной x статистические свойства оценок параметров и зависимой переменной, а также остатков, целиком определяются вероятностными свойствами случайной составляющей регрессионной модели. Относительно случайной составляющей в классическом регрессионном анализе предполагают выполнение следующих условий, которые называются условиями Гаусса-Маркова и играют ключевую роль при изучении свойств оценок, полученных по методу наименьших квадратов.

1. Первое условие заключается в том, что математическое ожидание случайной составляющей во всех наблюдениях должно быть равно нулю. Формально это записывается так

, для всех t =1,2,…,n.

Смысл этого условия заключается в том, что не должно быть систематического смещения случайной составляющей. В линейной регрессии систематическое смещение линии регрессии учитывается с помощью введения параметра смещения и поэтому данное условие можно считать всегда выполненным.

2. Дисперсия случайной составляющей постоянна для всех наблюдений (то есть не зависит от номера наблюдения). Это условие записывается так

, где дисперсия — величина постоянная.

Это свойство дисперсии ошибок называется гомоскедастичностью (однородностью) (запомните этот термин).

Графическая иллюстрация понятий гомоскедастичность и гетероскедастичность

Рис. 2.6а. Гомоскедастичность

Рис. 2.6б. Гетероскедастичность

Рис. 2.6в. Гетероскедастичность

3. Случайные составляющие модели для различных наблюдений некоррелированы. Это условие записывается таким образом

, для всех i не равных j (i, j=1,2,…,n).

Выполнение этого условия означает отсутствие систематической (статистической) связи между значениями случайного члена в любых двух наблюдениях. Это свойство на практике также проверяется с помощью статистических процедур на основе анализа остатков модели. Если оно нарушается, то процедура оценки параметров должна быть скорректирована.

4. Четвертое условие Гаусса-Маркова записывается так

, для всех i и j,

и означает, что объясняющие переменные и случайные составляющие некоррелированы для всех наблюдений. Ранее мы предположили, что объясняющая переменная в модели не является стохастической. В этом случае четвертое условие выполняется автоматически.

Дополнительное предположение о нормальном распределении ошибок

Данное предположение является, пожалуй, наиболее спорным. Дело в том, что предположение о нормальности можно считать правдоподобным, если значения случайной величины порождаются в результате воздействия большого количества независимых случайных факторов, каждый из которых не обязательно имеет нормальное распределение. Примером такого воздействия является так называемое броуновское движение (хаотичное движение малых частиц в жидкости как результат совокупного воздействия на частицу (ударов, соударения) большого количества молекул жидкости).

Если случайные величины в модели распределены по нормальному закону, то из свойств некоррелированности в третьем и четвертом условиях Гаусса-Маркова следует и независимость соответствующих случайных величин.

2.3.2. Свойства выборочных вариаций и ковариаций. Остаточные ошибки (остатки) модели, их свойства

Свойства выборочных вариаций (дисперсий) и ковариаций

Для дальнейшего изложения нам понадобиться установить ряд правил, которые можно использовать при преобразовании выражений, содержащих выборочные вариации и ковариации.

,

откуда следует свойство

Далее, нетрудно видеть, что имеют место равенства

Источник

Несмещенность оценки параметра регрессии полученной по мнк означает

Несмещенность оценок параметров регрессии. Оценка параметров регрессии называется несмещенной, если для любого фиксированного числа наблюдений выполняется равенство математического ожидания параметра и значения параметра регрессии. Надо отметить, что оценки, полученные методом наименьших квадратов, обладают свойством несмещенности. [c.149]

Эффективность оценок параметров регрессии. Несмещенная оценка параметра регрессии называется несмещенной эффективной, если она среди всех прочих несмещенных оценок этого же параметра обладает наименьшей дисперсией. [c.149]

Это означает, что отсутствует систематическая ошибка в определении линии регрессии, следовательно оценки параметров регрессии являются несмещенными, то есть математическое ожидание оценки каждого параметра равно его истинному значению. [c.107]

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей б,. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок б, (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции. [c.155]

Отметим, что при соблюдении прочих предпосылок МНК автокорреляция остатков не влияет на свойства состоятельности и несмещенности оценок параметров уравнения регрессии обычным МНК, за исключением моделей авторегрессии. Применение МНК к моделям авторегрессии ведет к получению смещенных, несостоятельных и неэффективных оценок. [c.280]

Однако, как было показано выше, оценка параметра с,, равная 0,440, является смещенной. Для получения несмещенных оценок параметров этого уравнения воспользуемся методом инструментальных переменных. Определим параметры уравнения регрессии (7.43) обычным МНК [c.327]

Средние квадраты s и s2 (табл. 3.3) представляют собой несмещенные оценки дисперсий зависимой переменной, обусловленных соответственно регрессий или объясняющей переменной X и воздействием неучтенных случайных факторов и ошибок т — число оцениваемых параметров уравнения регрессии п — число наблюдений. [c.72]

Оценки, определяемые вектором (4.8), обладают в соответствии с теоремой Гаусса—Маркова минимальными дисперсиями в классе всех линейных несмещенных оценок, но при наличии мультиколлинеарности эти дисперсии могут оказаться слишком большими, и обращение к соответствующим смещенным оценкам может повысить точность оценивания параметров регрессии. На рис. 5.1 показан случай, когда смещенная оценка Ру, [c.110]

Как было отмечено в 7.1, b — несмещенная и состоятельная оценка параметра р для обобщенной линейной модели множественной регрессии следовательно, и в частном случае, когда мо- [c.156]

Изучая уравнение линейной регрессии мы предполагали, что реальная взаимосвязь фактора X и отклика 7 линейна, а отклонения от прямой регрессии случайны, независимы между собой, имеют нулевое математическое ожидание и постоянную дисперсию. Если это не так, то статистический анализ параметров регрессии некорректен и оценки этих параметров не обладают свойствами несмещенности и состоятельности. Например, это может быть, если в действительности связь между переменными нелинейна. Поэтому после получения уравнения регрессии необходимо исследовать его ошибки. [c.122]

Коэффициенты регрессии, найденные исходя из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии bt можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям. [c.156]

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии 6, имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице. [c.156]

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии. Этой цели, как уже указывалось, служит и применение обобщенного метода наименьших квадратов, к рассмотрению которого мы и переходим в п. 3.11. [c.169]

Метод, используемый чаще других для нахождения параметров уравнения регрессии и известный как метод наименьших квадратов, дает наилучшие линейные несмещенные оценки. Он называется так потому, что при расчете параметров прямой линии, которая наиболее соответствует фактическим данным, с помощью этого метода стараются найти линию, минимизирующую сумму квадратов значений ошибок или расхождений между величинами Y, которые рассчитаны по уравнению прямой и обозначаются Y, и фактическими наблюдениями. Это показано на рис. 6.2. [c.265]

Сформулируйте свойства несмещенности, состоятельности и эффективности оценок параметров. Обладают ли этими свойствами оценки. параметров линейной регрессии, полученные с помощью МНК [c.311]

Формула Q записана для парной регрессии аналогичный вид она имеет и для множественной линейной регрессии. При использовании WLS оценки параметров не только получаются несмещенными (они будут таковыми и для обычного МНК), но и более точными (имеют меньшую дисперсию), чем невзвешенные оценки. [c.355]

Почему, если известна оценка W ковариационной матрицы ошибок независимых переменных, то приведенная формула расчета оценок параметров простой регрессии обеспечивает их несмещенность [c.44]

Оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению М(а) = а М(Ь) = р. Это вытекает из того, что М(е.) = О, и говорит об отсутствии систематической ошибки в определении положения линии регрессии. [c.297]

Если матрица ковариации ошибок по наблюдениям отлична от О IN (нарушена 3-я гипотеза основной модели), то МНК-оценки параметров регрессии остаются несмещенными, но перестают быть эффективными в классе линейных. Смещенными оказываются МНК-оценки их ковариции, в частности оценки их стандартных ошибок (как правило, они преуменьшаются). [c.27]

При анализе временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. В этом разделе мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка (точное определение будет дано ниже). Как было показано ранее (глава 5), применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать (см., например, Johnston and DiNar-do, 1997), что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле. [c.184]

Состоятельное оценивание дисперсий. Предположим теперь, что в модели (6.1) с гетероскедастичностью для оценки вектора параметра ft используется обычный метод наименьших квадратов. Как установлено в главе 5, эта оценка является состоятельной и несмещенной, однако стандартная оценка ее матрицы ко-вариаций ((3.8), (ЗД9)) V»(/3OLs) — ff2(X X) l смещена и несостоятельна. Отметим, что компьютерные пакеты при оценивании коэффициентов регрессии вычисляют стандартные ошибки коэффициентов регрессии именно по этой формуле. Можно ли сделать поправку на гетероскедастичность и улучшить оценку матрицы ковариаций Положительный ответ дают приводимые ниже два способа оценивания. [c.173]

Источник