Метод моментов для оценки неизвестных параметров

Метод моментов

Содержание:

Метод моментов, предложенный английским статистиком Карлом Пирсоном в 1894 г., заключается в приравнивании определенного числа выборочных моментов к соответствующим теоретическим, которые являются функциями неизвестных параметров Рассматривая количество моментов, равное числу к неизвестных параметров, подлежащих определению, и решая полученные уравнения относительно этих параметров, получаем искомые оценки. Иначе говоря, оценки параметров являются решениями систем уравнений или , для некоторых

Метод моментов содержит неопределенность, поскольку можно получить уравнения для неизвестных параметров , используя как начальные, так и центральные моменты, а также некоторые их модификации типа асимметрии или эксцесса.

По этой ссылке вы найдёте полный курс лекций по теории вероятности:

Пример:

Функция

задает плотность распределения Рэлея (см. § 6.4). Требуется оценить параметр по выборке

Найдем оценку параметра 0, приравнивая начальные выборочные и теоретические моменты. Первый начальный момент

имеет вид: Приравнивая, получаем первую оценку параметра:

Приравнивая вторые начальные моменты, можем получить другую оценку: из уравнения, которое получитсяся при использовании второго центрального момента (дисперсии), — третью оценку:

В общем случае система уравнений для моментов может не иметь решения в элементарных функциях (и тогда можно искать решение приближенными методами) или вообще оказаться неразрешимой (несовместной).

Оценки, полученные методом моментов, часто оказываются смешенными. К достоинствам метода моментов следует отнести его простую вычислительную реализацию, а также то, что оценки являются функциями от выборочных моментов.

В силу теоремы Слуцкого любая непрерывная функция от выборочных моментов функции сходится по вероятности к постоянной, получаемой подстановкой в эту функцию теоретических моментов, если они существуют и если получаемая таким образом постоянная конечна. Для определенности рассмотрим функцию от двух моментов (начальных или центральных), хотя ее можно обобщить на любое конечное число аргументов, в том числе и на случай, когда Н зависит только от одного аргумента.

Теорема 1. (Крамера). Пусть в некоторой окрестности точки функция непрерывна и имеет непрерывные частные производные первого и второго порядка:

Тогда для любой выборки, по которой найдены оценки , случайная величина асимптотически нормальна при следующими параметрами:

Иногда оценки, получаемые с помощью метода моментов, принимаются в качестве первого приближения, по которому можно построить другими методами оценки более высокого качества.

Оценки метода моментов используются также, когда существует необходимость оценить не сами параметры распределения (которые часто представляют собой некие абстракции), а определенные практически значимые показатели, зависящие от этих параметров функционально: . Самый простой (хотя и не самый точный) способ такого оценивания — подставить полученные оценки в соответствующую функцию:

Если распределение определяется одним параметром, то для построения оценки один теоретический момент приравнивают к одному эмпирическому моменту того же порядка (обычно первого).

Возможно вам будут полезны данные страницы:

Источник

Метод моментов для точечной оценки параметров распределения

Можно доказать, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов того же порядка. На этом основан метод моментов, предложенный К. Пирсоном. Достоинство метода — сравнительная его простота. Метод моментов точечной оценки неизвестных параметров заданного распределения состоит в приравнивании теоретических моментов рассматриваемого распределения соответствующим эмпирическим моментам того же порядка.

А. Оценка одного параметра. Пусть задан вид плотности распределения /(.г, 0), определяемой одним неизвестным параметром 0. Требуется найти точечную оценку параметра 0.

Для оценки одного параметра достаточно иметь одно уравнение относительно этого параметра. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка: v,= М_<. Учитывая, что v,= М(Х) (см. гл. 8, § 10), М₁ = х_в (см. гл. 17, § 2), получим

Математическое ожидание М(Х), как видно из соотношения

есть функция от 0, поэтому (*) можно рассматривать как уравнение с одним неизвестным 0. Решив это уравнение относительно параметра 0, тем самым найдем его точечную оценку 0*, которая является функцией от выборочной средней, следовательно, и от вариант выборки:

Пример 1. Найти методом моментов по выборке х,х₂,. х_п точечную оценку неизвестного параметра X показательного распределения, плотность распределения которого /(.г) = Хе

Решение. Приравняем начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка: v₍ = М_<. Учитывая, что V, = ЩХ), М, = х_в, получим

Приняв во внимание, что математическое ожидание показательного распределения равно 1 /X (см. гл. 13, § 3), имеем

Отсюда

Итак, искомая точечная оценка параметра X показательного распределения равна величине, обратной выборочной средней:

Б. Оценка двух параметров. Пусть задан вид плотности распределения f(x; 0_Г 0₂), определяемой неизвестными параметрами 0, и 0₂. Для отыскания двух параметров необходимы два уравнения относительно этих параметров. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка и центральный теоретический момент второго порядка центральному эмпирическому моменту второго порядка:

Математическое ожидание и дисперсия есть функции от 0, и 0₂, поэтому (**) можно рассматривать как систему двух уравнений с двумя неизвестными 0! и 0₂. Решив эту систему относительно неизвестных параметров, тем самым получим их точечные оценки 0* и 02- Эти оценки являются функциями от вариант выборки:

Решение. Приравняем начальные теоретические и эмпирические моменты первого порядка, а также центральные и эмпирические моменты второго порядка:

Приняв во внимание, что математическое ожидание нормального распределения равно параметру а, дисперсия равна а 2 (см. гл. 12, § 2), имеем:

Итак, искомые точечные оценки параметров нормального распределения:

Замечание 1. Для оценок неизвестных параметров можно приравнивать не только сами моменты, но и функции от моментов. В частности, этим путем получают состоятельные оценки характеристик распределений, которые являются функциями теоретических моментов. Например, асимметрия теоретического распределения (см. гл. 12, § 9)

есть функция от центральных моментов второго и третьего порядков. Заменив эти теоретические моменты соответствующими эмпирическими моментами, получим точечную оценку асимметрии

Замечание 2. Учитывая, что у[т^ = yjl = а_в, последнюю формулу можно записать в виде

Далее эта оценка будет принята в качестве определения асимметрии эмпирического распределения (см. гл. 17, § 9).

Источник

Метод моментов

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов(Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Содержание

Сущность метода

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение , зависящее от параметров . Пусть для функций (называемых моментами или моментными функциями) , интегрируемых по мере , выполнены условия на моменты

Пусть — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель удовлетворяет условию , то условия на моменты выглядят следующим образом:

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть . Тогда имеем выборочный аналог этого условия:

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае, очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако, доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариацинной матрице моментных функций . Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают коварицаонную матрицу моментных функций и используют полученную оценку в эффетивном GMM (это т. н. доступный эффективный GMM).

Пример

Пусть — выборка из гамма распределения с неизвестными параметрами и . Тогда

.

Тогда оценки метода моментов удовлетворяют системе уравнений:

.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

Смотреть что такое «Метод моментов» в других словарях:

метод моментов — momentų metodas statusas T sritis fizika atitikmenys: angl. method of moments; moments method vok. Momentenmethode, f rus. метод моментов, m pranc. méthode de moments, f … Fizikos terminų žodynas

Метод моментов нахождения оценок — в математической статистике это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон 1894г.) Содержание 1 Определение 2 Замечания … Википедия

Обобщенный метод моментов — (ОММ, GMM Generalized Method of Moments) метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был… … Википедия

Метод инструментальных переменных — (ИП, IV Instrumental Variables) метод оценки параметров регрессионных моделей, основанный на использовании дополнительных, не участвующих в модели, так называемых инструментальных переменных. Метод применяется в случае, когда факторы… … Википедия

Метод максимального правдоподобия — или метод наибольшего правдоподобия (ММП, ML, MLE Maximum Likelihood Estimation) в математической статистике это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что… … Википедия

метод распределения моментов — Метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов [Терминологический словарь по… … Справочник технического переводчика

МОМЕНТОВ МЕТОД — метод определения распределения вероятностей по его моментам. В теоретич. отношении М. м. основан на единственности решения моментов проблемы:если нек рые постоянные, то при каких условиях существует единственное распределение такое, что суть… … Математическая энциклопедия

МЕТОД РАСПРЕДЕЛЕНИЯ МОМЕНТОВ — метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов (Болгарский язык; Български)… … Строительный словарь

МЕТОД — (от греч. methodos путь, способ исследования, обучения, изложения) совокупность приемов и операций познания и практической деятельности; способ достижения определенных результатов в познании и практике. Применение того или иного М. определяется… … Философская энциклопедия

МЕТОД СВОБОДНЫХ АССОЦИАЦИЙ — (лат. associatio соединение, присоединение) исследовательский, диагностический и терапевтический прием психоанализа. Основан на использовании феномена ассоциативности мышления для познания глубинных (преимущественно бессознательных) психических… … Новейший философский словарь

Источник

МЕТОД МОМЕНТОВ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ЗАКОНА РАСПРЕДЕЛЕНИЯ И ФУНКЦИЙ ОТ ЭТИХ ПАРАМЕТРОВ

Метод моментов на базе выборочных статистик первого типа

или в векторном написании:

Она называется системой уравнений Пирсона. Если система (2.3.1) имеет единственное решение, непрерывно зависящее от t*

то оно называется оценкой метода моментов или короче ММ-оценкой

По теореме о сходимости по вероятности непрерывных функций от СВ

т.е. является состоятельной оценкой 0.

Если выборочные оценки t* асимптотически нормальны, то в условиях теоремы об асимптотической нормальности функций от СВ ММ-оценки 0_ММ также асимптотически нормальны. Однако в общем случае в силу значительной произвольности выбора числовых характеристик /(0) ММ-оценки не являются ни оптимальными, ни асимптотически оптимальными.

Определение. Пусть g = g(0) — некоторая функция от 0, тогда функция от ММ-оценки параметра 0 есть ММ-оценка самой функции:

Рассмотрим несколько частных случаев и соответствующих примеров.

1. Пусть р^ (х | 0) — однопараметрический закон распределения,

тогда для получения 0_ММ достаточно одного уравнения Пирсона, как правило, одного из следующих видов:

Очевидно, = 2М| = 2xb/2 = b,

Наконец, согласно ЦПТ

Итак, полученная оценка является несмещенной, состоятельной, асимптотически нормальной, но не оптимальной (подраздел 4.3).

Обозначим эту оценку через Ь_тм и найдем вторую ММ-оценку того же параметра из уравнения

следовательно, по теореме об асимптотической нормальности функций от случайных величин

Последнее свойство влечет состоятельность и асимптотическую несмещенность Ь_2ММ.

Сравним оценки 6|*_мм и 6₂мм по их асимптотической относительной эффективности

т.е. b_2MM эффективнее 6,*_мм почтив 1,7 раза.

следовательно, она состоятельна и асимптотически не смещена.

По определению ММ-оценки функции от параметра закона распределения

т.е. эта оценка также состоятельна и асимптотически не смещена.

т.е. в-оценка дисперсии также почти в 1,7 раза эффективнее выборочной оценки. Случайно ли это совпадение?

В данном случае М?, = 0 и не зависит от параметра Ь, т.е. М?, не годится для составления уравнения Пирсона, поэтому уравнение Пирсона получим в виде

Решение этого уравнения асимптотически нормально

2. Пусть (х | 0), где 0 = (0_1? 0₂) — двухпараметрический закон

распределения, тогда для получения оценки 0_ММ = (0^_Мм> ®2мм) следует составить систему из двух уравнений Пирсона, как правило, вида

и найти ее решение.

Рассмотрим в качестве примера двухпараметрический равномерный на интервале (а, Ь) закон распределения. По выборке х_{< п} требуется найти ММ-оценки для обоих неизвестных параметров. Система уравнений Пирсона

и, как следствие, — состоятельная, асимптотически несмещенная оценка.

Источник