Ковариационные матрицы ошибок и оценок параметров эконометрических моделей

Ковариационные матрицы ошибок и оценок параметров эконометрических моделей

3.3. Статистические свойства оценок параметров линейной модели множественной регрессии. Теорема Гаусса-Маркова

Математическое ожидание вектора оценок. Несмещенность оценки

Подставим в формулу ( 3.15 ) для оценки вместо вектора y его выражение (подчеркнем, что здесь мы рассматриваем y и u как случайные величины (векторные), а не конкретные их реализации). Получим

Таким образом, в классической многомерной линейной модели регрессии оценки коэффициентов, полученные по методу наименьших квадратов, являются несмещенными, то есть .

Истинная ковариационная матрица вектора оценок. Эффективность оценки

Истинная ковариационная матрица оценок коэффициентов

Получим выражение для истинной ковариационной матрицы вектора оценок. Ковариационная матрица вектора b по определению равна

Из выражения ( 3.21 ) получаем

Подставляя выражение ( 3.24 ) в ( 3.23 ), будем иметь

или, окончательно имеем

Замечание. Вывод формул для дисперсий коэффициентов парной линейной регрессии.

Из общей формулы ( 3.27 ) можно легко получить формулы ( 2.22 ), ( 2.23 ) для дисперсий коэффициентов парной линейной регрессии, которые ранее были даны без вывода в главе 2 (см. п. 2.3.3. ). Действительно, в случае парной регрессии матрица наблюдений регрессоров X имеет вид

и обратная к ней матрица

Ранее (см. п. 2.2.2. ) мы показали, что имеет место равенство

Умножим обе его части на n, получим

Учитывая это равенство, выпишем уравнения для диагональных элементов ковариационной матрицы в случае парной регрессии, которые и будут дисперсиями соответствующих коэффициентов

Нетрудно убедиться, что полученные формулы совпадают с формулами ( 2.22 ), ( 2.23 ).

Покажем, что оценка наименьших квадратов является эффективной, то есть наилучшей в смысле минимума дисперсий компонент вектора оценок b.

Таким образом, мы получили, что

Далее, поскольку матрица (неотрицательно определенная), то имеет место неравенство

откуда следуют аналогичные неравенства и для диагональных элементов ковариационных матриц, которые являются дисперсиями соответствующих коэффициентов модели

Это и доказывает эффективность МНК-оценок.

Полученные результаты можно сформулировать в виде теоремы.

Теорема Гаусса-Маркова Оценка вида ( 3.15 ) параметров классической многомерной линейной регрессии по методу наименьших квадратов является наилучшей (эффективной) линейной несмещенной оценкой (Best Linear Unbiased Estimator, BLUE).

Источник

ГЛАВА III. МЕТОДЫ ОЦЕНКИ КОЭФФИЦИЕНТОВ ЭКОНОМЕТРИЧЕСКИХ МОДЕЛЕЙ C НЕСТАНДАРТНЫМИ ОШИБКАМИ

В данной главе рассматриваются основные подходы к оценке коэффициентов эконометрических моделей, свойства которых отличаются от “стандартов”, определенных в главе II условиями (2.21)–(2.23).

Первый случай (наличия автокорреляционных взаимосвязей в ряду ошибки et, t=1,2. Т) формально может быть выражен следующим условием:

где W – ковариационная матрица ошибок модели; S – матрица коэффициентов автокорреляции модели, отличная от единичной; se2=const.

В общем случае матрица S может быть представлена в следующем виде:

S =

где, напомним, что rk – коэффициент автокорреляции рядов ошибки et и et–k, k-го порядка, значение которого рассчитывается для k=1,2. по формуле:

Во втором случае ковариационная матрица ошибки имеет следующий вид:

Сov(e)=W=

(3.4)

В эконометрических исследованиях теоретически возможна ситуация, когда оба рассмотренных случая встречаются одновременно, т. е. когда в ряду ошибки имеются автокорреляционные зависимости и ее дисперсия непостоянна.

Третий случай характеризуется нарушением условия (2.23), что означает отличие от нуля ковариации хотя бы одной независимой переменной хi и ошибки модели e или, что то же самое, отличие от нуля их парного коэффициента корреляции, cov(хit, et)?0,

Нарушение условий (2.21) и (2.22) приводит к тому, что оценки коэффициентов эконометрических моделей, полученные на основе “классических” методов МНК и ММП, теряют некоторые свои “качества”. Прежде всего это относится к свойству эффективности оценок, полученных при ограниченных объемах выборки.

Нарушение условия (2.23), как это следует из выражения (2.10), приводит к потере оценками коэффициентов модели свойства несмещенности. Заметим, что если условия (2.21)–(2.23) не выполняются при Т®¥, то оценки коэффициентов не обладают свойствами асимптотической эффективности и несмещенности (состоятельности).

Такая ситуация, в свою очередь, заставляет эконометриков искать определенные подходы, приемы получения “качественных” оценок параметров эконометрических моделей и при свойствах их ошибок, отличных от тех, которые были определены стандартными условиями (2.21)–(2.23).

Данные подходы и приемы обычно базируются на так называемых обобщенных методах оценивания – обобщенном МНК (ОМНК) и обобщенном ММП (ОММП), на использовании при получении оценок параметров моделей так называемых “инструментальных переменных”.

Рассмотрим основные последствия нарушения условия (2.21) для оценок параметров эконометрической модели, полученных с использованием “классических” методов оценивания, например, МНК.

Как было показано в разделе 2.1, применение обычного МНК для определения коэффициентов эконометрической модели при условии W?se2?Е в этом случае приводит к следующим результатам (см. выражения (2.9) и (2.15)):

– оценка вектора параметров модели является случайной величиной, которую можно представить в следующем виде:

– ковариационная матрица этих оценок определяется следующим выражением:

Из выражений (3.5) и (3.6), в частности, вытекает, что вектор а является несмещенной оценкой вектора истинных значений параметров эконометрических моделей a и в случае конечных объемов выборки детерминированных исходных данных (Т – конечно) и асимптотически несмещенной оценкой при стохастических исходных данных, поскольку в этих случаях при соблюдении условия M[e|x]=0 имеем M[а]=Mx[M[а|x]]=a (см. выражение (2.36)).

Однако из (3.6) также следует, что при конечных объемах выборки оценки, найденные с использованием обычного МНК, являются неэффективными. При этом отметим, что неравенство (3.6) обусловлено не только различиями матриц (X¢X)-1X¢SX(X¢X)–1 и (X¢X)–1, но и тем обстоятельством, что используемая на практике оценка дисперсии модели se2

может быть смещенной в силу существующих зависимостей в ряду ошибки (между разновременными значениями ошибки).

Вместе с тем можно показать, что при Т®¥ оценки обычного МНК и в этих условиях при выполнении некоторых предположений являются состоятельными и асимптотически эффективными.

Cov (a) =

Из (3.7), в частности, вытекает, что элементы матрицы Cov(a)®0, и вектор a является состоятельной оценкой вектора a при Т®¥, если в этом случае матрицы являются конечными и положительно определенными.

Можно показать, что эти предположения выполняются, если

а) наименьший характеристический корень матрицы (X¢X) неограниченно возрастает при Т®¥, что влечет за собой выполнение условия:

б) наибольший характеристический корень матрицы S ограничен по величине для всех Т.

В частности, в случае гетероскедастичной ошибки последнее условие означает, что в выражении (3.4) элементы матрицы S – 1/li – ограничены сверху, т. е. параметры li ограничены снизу.

Для получения эффективных оценок параметров эконометрических моделей при нарушении условия (2.18), т. е. когда Cov(a)?se2(X¢X)–1, в общем случае может быть использован обобщенный метод наименьших квадратов, разработанный А. Эйткеном.

Математическое обоснование ОМНК базируется на свойстве положительно определенной* ковариационной матрицы W, допускающей представление в виде произведения двух матриц:

где матрица p — невырожденная.

Из (3.8) непосредственно вытекает, что

Для доказательства равенства (3.9) достаточно левую и правую часть выражения (3.8) умножить слева на p–1 и справа на (p¢)–1.

Равенство (3.10) непосредственно вытекает из свойств обращения произведения матриц.

Предположим, что матрица p известна. Умножим матрично-векторное уравнение исходной эконометрической модели у=Хa+e слева на матрицу p–1 и получим

Покажем, что ковариационная матрица вектора e* равна Е. Для этого запишем:

Из (3.13) непосредственно вытекает, что se2=1.

Применяя к модели (3.11) обычный метод наименьших квадратов, получим вектор оценки a из следующего выражения:

Несложно показать, что оценки коэффициентов a, полученные на основании выражения (3.14), обладают свойствами несмещенности при конечном Т в случае детерминированных, а также и состоятельностью и асимптотической несмещенностью при Т®¥ – в случае стохастических исходных данных. Доказательство этих свойств при условии независимости значений столбцов матрицы Х и e в первом случае и асимптотических свойствах этих переменных (см. выражение (2.38)) – во втором приведены в разделе 2.1.

В частности, вектор а является несмещенной оценкой ОМНК вектора a, если M[e*|Х*]=0. С учетом (3.12) это условие эквивалентно выражению M[p–1e|p–1Х*]=0, которое выполняется при конечной матрице p–1 и исходном предположении МНК M[e*|Х*]=0 о независимости факторов и ошибки эконометрической модели.

Ковариационная матрица оценок параметров, полученных на основании (3.14), определяется следующим выражением:

Последний результат получен, принимая во внимание свойство ошибки e* (3.13) и представления матрицы W в виде se2?S (постоянный множитель se2 выносится за скобки). С учетом этого очевидного результата выражение (3.14) может быть также представлено в следующем виде:

Аналогично, как и в разделе 2.1 (см. выражения (2.39)–(2.41)), доказываются свойства асимптотической несмещенности и состоятельности оценок ОМНК. В частности, из выражения (3.15) вытекает, что эти свойства имеют место, если матрица plim является ограниченной положительно определенной матрицей. В этом случае из (3.15) следует, что

Cov(a)=

В заключении данного раздела заметим, что матрица W, определенная выражением (3.4), для гетероскедастичной ошибки эконометрической модели, также является положительно определенной, а, следовательно, допускает представление (3.8). Из этого факта вытекает, что выражения (3.14) и (3.16) могут быть использованы для оценки коэффициентов этой модели и при гетероскедастичных ошибках с учетом замены ковариационной матрицы этих ошибок вида (3.1) на (3.4). Аналогичным образом и ковариационная матрица оценок параметров модели при ковариационной матрице ее ошибок, определенной выражением (3.4), находится из выражения (3.15). 3.1.2. Обобщенный метод максимального правдоподобия

В обобщенном ММП предполагается, что ошибка модели подчиняется нормальному закону распределения с ковариационной матрицей W, определенной выражением либо (3.1), либо (3.4), т. е. j(e)

N(0, We). В этом случае плотность нормального закона распределения значений ошибки et, t=1,2. Т; можно представить в следующем виде:

j(e)=½W e½?e¢Wy–1e]. (3.17)

Используя матрицу Se, выражение (3.17) можно записать и так

j (e )= (s1 s2. sT)½S e½ ?e¢Se–1e], (3.18)

Заметим, что при независимых ошибках e1, e2. eТ

j (e )=

что совпадает с функцией максимального правдоподобия, определенной выражением (2.109).

Логарифм выражения (3.18), являющийся логарифмом функции правдоподобия для взаимозависимых или гетероскедастичных ошибок e1. eТ с учетом представления их вектора в виде e=у–Х?a, записывается следующим образом:

l=– ln(2p) – ln½We½– (у–Х?a)¢We–1(у –Х?a)=

=–ln(2p) – lnse2 –ln½Se½–(у –Х?a)¢Se–1(у –Х?a). (3.19)

Дифференцируя выражение (3.19) по вектору параметров a и дисперсии ошибки se2 и приравнивая нулю частные производные, получим

¶l/¶a=(Х¢?Se-1?у+Х¢?Se–1?Х?a)=0;

¶l/¶se2=(у –Х?a)¢?Se–1?(у –Х?a)=0. (3.20)

Из выражения (3.20) непосредственно получим выражения для оценок параметров модели и ее дисперсии в следующем виде:

se2=(у –Х?a)¢? Se–1?(у –Х?a). (3.21)

Заметим, что с учетом равенства We=s2Se первое выражение из (3.21) можно записать в следующем виде:

Из сопоставления выражений (3.16) и (3.21), (3.14) и (3.22) непосредственно вытекает, что при “нормально” распределенных ошибках эконометрической модели при утрате их свойств независимости и гомоскедастичности обобщенные МНК и ММП определяют оценки коэффициентов этой модели по одним и тем же выражениям. При этом, как и в разделе 2.5, можно показать, что оценки ОММП обладают свойствами асимптотической несмещенности, состоятельности и эффективности.

Основные проблемы, связанные с применением обобщенного МНК для оценки коэффициентов эконометрической модели, состоят в том, что априорно матрицы W и S являются неизвестными, поскольку определить численные значения их элементов можно только после того, как получены оценки коэффициентов модели a0, a1. an. Разрешить это противоречие можно на основе ряда подходов, которые будут рассмотрены в последующих параграфах данной главы.

Источник

Машинное обучение для факультета математики Записки лекций

Илья Щуров (НИУ ВШЭ)

5 Ещё о линейной регрессии

5.1 Напоминание: постановка задачи и метод наименьших квадратов

5.1.1 Геометрическая интерпретация

Эта интерпретация часто бывает полезна, но про некоторые вещи с её помощью невозможно думать: например, невозможно себе представить, что значит «найти предсказание для нового x (отличного от тех, что есть в обучающей выборке)».

5.2 Несмещённость МНК-оценки

5.3 Дисперсии и ковариации МНК-оценки

5.3.1 Ковариационная матрица

Гм-гм, симметричная матрица? Наверняка она задаёт какую-нибудь симметричную билинейную или квадратичную форму! И правда.

5.3.2 Пример и геометрическая интерпретация

Для правой картинки матрица ковариации равна

5.3.3 Ковариационная матрица и линейные операторы

5.3.4 Ковариационная матрица МНК-оценки

5.3.5 Теорема Гаусса — Маркова

Иными словами, теорема Гаусса — Маркова говорит, что дисперсия (разброс) любого предсказания для любой линейной несмещённой оценки w будет не меньше, чем дисперсия того же предсказания для МНК-оценки.

Заключение теоремы можно также переформулировать таким образом: матрица

Доказывать эту теорему мы сейчас не будем.

5.3.6 Когда смещённая оценка лучше

Теорема Гаусса — Маркова рассматривает только довольно узкий класс альтернатив — исключительно линейные несмещённые оценки, и показывает, что МНК-оценка оптимальна именно в этом классе. Но это не означает, что она оптимальна с практической точки зрения.

Напомним (второй раз за сегодня), что ожидаемая ошибка на новом наблюдении (то, что мы хотим сделать как можно менше) складывается из шума, смещения и разброса. Мы показали, что МНК-оценка имеет нулевое смещение и минимальный разброс среди оценок с нулевым смещением. Однако, может быть, есть оценка с ненулевым смещением, которая имеет существенно более низкий разброс, и таким образом по сумме выигрывает у МНК-оценки? Оказывается, что так как раз часто и бывает (более того, почти всегда).

Давайте покажем, как это возможно, на простом примере.

Как мы видим, если σ 2 очень большое, разброс предсказаний МНК-модели может быть также очень большим.

Давайте вместе с МНК-оценкой для исходной модели рассмотрим также МНК-оцеки для упрощённых моделей, которые игнорируют один из или оба признака. Иными словами, мы рассматриваем четыре модели.

Давайте посчитаем ожидаемую ошибку для всех четырёх моделей. Для этого нужно найти смещение и разброс для каждой модели.

Сведём наши результаты в табличку.

Итак, на нашем примере мы видим, что бывают ситуации, когда лучше выбрать смещённую модель, которая даёт меньший разброс предсказаний, чем несмещённую модель. Это ещё один пример так называемого bias-variance tradeoff.

Заметим, что в данном случае оптимальной могла стать третья модель, но никак не вторая: её ожидаемая ошибка при любом σ 2 больше ожидаемой ошибки третьей. Это можно интерпретир��вать так. В нашей истинной зависимости коэффициенты при обоих признаках были равны между собой. В то же время дисперсии самих признаков существенно различались — дисперсия первого признака была гораздо больше дисперсии второго. При равных дисперсиях шумов в каждой точке, это привело к тому, что дисперсия второй компоненты вектора признаков оказалась гораздо выше дисперсии первой. Поэтому именно ей нам пришлось «пожертвовать», чтобы уменьшить разброс предсказаний. На этой идее основан один из методов отбора признаков — удаление незначимых признаков, то есть таких, у которых слишком большое значение разброса по сравнению со значением самого признака.

Если предполагать, что веса в истинной зависимости примерно одинаковые и остальные предположения выполняются, большую дисперсию будут иметь веса, соответствующие признакам, которые сами имеют маленькую дисперсию (как второй признак в нашем примере). Это ещё один механизм отбора признаков.

На семинаре мы также обсудим регуляризацию — ещё один механизм уменьшения разброса в предсказаниях, который автоматически уменьшает веса, соответствующие признакам с маленькой дисперсией.

Заметим также, что проблемы, связанные со слишком большим разбросом предсказаний могут возникать не только в том случае, когда какой-то из признаков имеет маленькую дисперсию, но и когда какие-то признаки слишком сильно скоррелированы друг с другом. Механизмы, которые здесь работают, полностью аналогичны разобранным в нашем примере. Регуляризация позволяет справиться и с этой проблемой тоже.

Источник