Метод моментов для точечной оценки параметров распределения
Метод моментов для точечной оценки параметров распределения
Можно доказать, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов того же порядка. На этом основан метод моментов, предложенный К. Пирсоном. Достоинство метода — сравнительная его простота. Метод моментов точечной оценки неизвестных параметров заданного распределения состоит в приравнивании теоретических моментов рассматриваемого распределения соответствующим эмпирическим моментам того же порядка.
А. Оценка одного параметра. Пусть задан вид плотности распределения /(.г, 0), определяемой одним неизвестным параметром 0. Требуется найти точечную оценку параметра 0.
Для оценки одного параметра достаточно иметь одно уравнение относительно этого параметра. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка: v,= М<. Учитывая, что v,= М(Х) (см. гл. 8, § 10), М1 = хв (см. гл. 17, § 2), получим 
Математическое ожидание М(Х), как видно из соотношения
есть функция от 0, поэтому (*) можно рассматривать как уравнение с одним неизвестным 0. Решив это уравнение относительно параметра 0, тем самым найдем его точечную оценку 0*, которая является функцией от выборочной средней, следовательно, и от вариант выборки: 
Пример 1. Найти методом моментов по выборке х,х2,. хп точечную оценку неизвестного параметра X показательного распределения, плотность распределения которого /(.г) = Хе
Решение. Приравняем начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка: v( = М<. Учитывая, что V, = ЩХ), М, = хв, получим
Приняв во внимание, что математическое ожидание показательного распределения равно 1 /X (см. гл. 13, § 3), имеем
Отсюда 
Итак, искомая точечная оценка параметра X показательного распределения равна величине, обратной выборочной средней:
Б. Оценка двух параметров. Пусть задан вид плотности распределения f(x; 0Г 02), определяемой неизвестными параметрами 0, и 02. Для отыскания двух параметров необходимы два уравнения относительно этих параметров. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка и центральный теоретический момент второго порядка центральному эмпирическому моменту второго порядка:
Математическое ожидание и дисперсия есть функции от 0, и 02, поэтому (**) можно рассматривать как систему двух уравнений с двумя неизвестными 0! и 02. Решив эту систему относительно неизвестных параметров, тем самым получим их точечные оценки 0* и 02- Эти оценки являются функциями от вариант выборки:
Решение. Приравняем начальные теоретические и эмпирические моменты первого порядка, а также центральные и эмпирические моменты второго порядка:
Приняв во внимание, что математическое ожидание нормального распределения равно параметру а, дисперсия равна а 2 (см. гл. 12, § 2), имеем:
Итак, искомые точечные оценки параметров нормального распределения:
Замечание 1. Для оценок неизвестных параметров можно приравнивать не только сами моменты, но и функции от моментов. В частности, этим путем получают состоятельные оценки характеристик распределений, которые являются функциями теоретических моментов. Например, асимметрия теоретического распределения (см. гл. 12, § 9)
есть функция от центральных моментов второго и третьего порядков. Заменив эти теоретические моменты соответствующими эмпирическими моментами, получим точечную оценку асимметрии
Замечание 2. Учитывая, что у[т^ = yjl = ав, последнюю формулу можно записать в виде
Далее эта оценка будет принята в качестве определения асимметрии эмпирического распределения (см. гл. 17, § 9).
Метод моментов
Содержание:
Метод моментов, предложенный английским статистиком Карлом Пирсоном в 1894 г., заключается в приравнивании определенного числа выборочных моментов к соответствующим теоретическим, которые являются функциями неизвестных параметров 
Рассматривая количество моментов, равное числу к неизвестных параметров, подлежащих определению, и решая полученные уравнения относительно этих параметров, получаем искомые оценки. Иначе говоря, оценки параметров 
являются решениями систем уравнений 
или 
, для некоторых 
Метод моментов содержит неопределенность, поскольку можно получить уравнения для неизвестных параметров 
, используя как начальные, так и центральные моменты, а также некоторые их модификации типа асимметрии или эксцесса.
По этой ссылке вы найдёте полный курс лекций по теории вероятности:
Пример:
Функция
задает плотность распределения Рэлея (см. § 6.4). Требуется оценить параметр 
по выборке 
Найдем оценку параметра 0, приравнивая начальные выборочные и теоретические моменты. Первый начальный момент
имеет вид: 
Приравнивая, получаем первую оценку параметра: 
Приравнивая вторые начальные моменты, можем получить другую оценку: 
из уравнения, которое получитсяся при использовании второго центрального момента (дисперсии), — третью оценку: 
В общем случае система уравнений для моментов может не иметь решения в элементарных функциях (и тогда можно искать решение приближенными методами) или вообще оказаться неразрешимой (несовместной).
Оценки, полученные методом моментов, часто оказываются смешенными. К достоинствам метода моментов следует отнести его простую вычислительную реализацию, а также то, что оценки являются функциями от выборочных моментов.
В силу теоремы Слуцкого любая непрерывная функция от выборочных моментов функции сходится по вероятности к постоянной, получаемой подстановкой в эту функцию теоретических моментов, если они существуют и если получаемая таким образом постоянная конечна. Для определенности рассмотрим функцию 
от двух моментов (начальных или центральных), хотя ее можно обобщить на любое конечное число аргументов, в том числе и на случай, когда Н зависит только от одного аргумента.
Теорема 1. (Крамера). Пусть в некоторой окрестности точки 
функция 
непрерывна и имеет непрерывные частные производные первого и второго порядка:
Тогда для любой выборки, по которой найдены оценки 
, случайная величина 
асимптотически нормальна при 
следующими параметрами:
Иногда оценки, получаемые с помощью метода моментов, принимаются в качестве первого приближения, по которому можно построить другими методами оценки более высокого качества.
Оценки метода моментов используются также, когда существует необходимость оценить не сами параметры распределения (которые часто представляют собой некие абстракции), а определенные практически значимые показатели, зависящие от этих параметров функционально: 
. Самый простой (хотя и не самый точный) способ такого оценивания — подставить полученные оценки в соответствующую функцию: 
Если распределение определяется одним параметром, то для построения оценки один теоретический момент приравнивают к одному эмпирическому моменту того же порядка (обычно первого).
Возможно вам будут полезны данные страницы:
Метод моментов для точечной оценки параметров распределения
А. Оценка одного параметра. Пусть задан вид плотности распределения f(x,θ), определяемой одним неизвестным параметром θ. Требуется найти точечную оценку параметра θ.
Для оценки одного параметра достаточно иметь одно уравнение относительно этого параметра. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка: ν1 = М1. Учитывая, что ν1 = М(X) (см. гл. VIII, § 10), М1 = 
(см. гл. XVII, § 2), получим
М(X)= (*)
Математическое ожидание М(X), как видно из соотношения
,
есть функция от θ, поэтому (*) можно рассматривать как уравнение с одним неизвестным θ. Решив это уравнение относительно параметра θ, тем самым найдем его точечную оценку θ*, которая является функцией от выборочной средней, следовательно, и от вариант выборки:
θ*= 
М(X)=
Приняв во внимание, что математическое ожидание показательного распределения равно 1/λ (см. гл. XIII, § 3), имеем
1/λ= .
λ=1/ .
Итак, искомая точечная оценка параметра λпоказательного распределения равна величине, обратной выборочной средней:
λ*=1/ .
Б. Оценка двух параметров.Пусть задан вид плотности распределения f (х; θ1, θ2), определяемой неизвестными параметрами θ1 и θ2. Для отыскания двух параметров необходимы два уравнения относительно этих параметров. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка и центральный теоретический момент второго порядка центральному эмпирическому моменту второго порядка:
Учитывая, что что ν1 = М(X), μ2 = D(Х)(см. гл. VIII, § 10), М1 = , m2 = Dв (см. гл. XVII, § 2), получим
(**)
Математическое ожидание и дисперсия есть функции от θ1 и θ2, поэтому (**) можно рассматривать как систему двух уравнений с двумя неизвестными θ1 и θ2. Решив эту систему относительно неизвестных параметров, тем самым получим их точечные оценки θ1* и θ2*. Эти оценки являются функциями от вариант выборки:
Решение. Приравняем начальные теоретические и эмпирические моменты первого порядка, а также центральные и эмпирические моменты второго порядка:
Учитывая, что ν1 = М(X), μ2 = D(Х), М1 = , m2 = Dв, получим
.
Приняв во внимание, что математическое ожидание нормального распределения равно параметру а, дисперсия равна σ 2 (см. гл. XII, § 2),имеем:
а = , σ 2 = Dв.
Итак, искомые точечные оценки параметров нормального распределения:
а* = , σ*= 
Замечание 1. Для оценок, неизвестных параметров можно приравнивать не только сами моменты, но и функции от моментов. В частности, этим путем получают состоятельные оценки характеристик распределений, которые являются функциями теоретических моментов. Например, асимметрия теоретического распределения (см. гл. XII, § 9)
есть функция от центральных моментов второго и третьего порядков. Заменив эти теоретические моменты соответствующими эмпирическими моментами, получим точечную оценку асимметрии
.
Замечание 2. Учитывая, что 
, последнюю формулу можно записать в виде
Далее эта оценка будет принята в качестве определения асимметрии эмпирического распределения (см. гл. XVII, § 9).
Метод моментов для точечной оценки параметров распределения
Предполагаем, что известен вид функции распределения исследуемой случайной величины (например, равномерное дискретное, или непрерывное экспоненциальное или нормальное и т.д.).
; DB 
для равномерного;
a; DB 
для нормального; 
для экспоненциалього.
Метод наибольшего правдоподобия для точечной оценки параметров распределения.
Составляем функцию правдоподобия дискретной случайной величины, аргументы которой – полученные выборочным методом значения случайной величины и оцениваемый параметр распределения. Исследуем эту функцию, или, если это удобнее, логарифм функции правдоподобия на экстремум и находим значение оценки, при которой функция достигает максимума. Эта оценка – оценка наибольшего правдоподобия.
Доверительный интервал – случайный интервал, в пределах которого с вероятностью 
находится неизвестный оцениваемый параметр. — доверительная вероятность, или надёжность оценки.
1.Доверительный интервал для оценки мат ожидания СВ 
.
X 
— функциональная зависимость – взаимнооднозначная зависимость
Статистическая зависимость: любому значению признака X соответствует закон распределения соответствующих значений признака Y.
 | yo |
| ni |
Корреляционная зависимость: частный случай статистической зависимости, при которой каждому значению одной случайной величины ставится в соответствие числовая характеристика соответствующего распределения другой. 
или точнее 
Среднее арифметическое значение величины У, вычисленное при условии, что Х принимает фиксированное значение, называется условным средним и обозначается 
. Аналогично, 
-условное среднее величины Х, при У = у.
Корреляционная зависимость 
от X:
| X | x1 | x2 | x3 | ….. | xn |
 | yx1 | yx2 | yx3 | …… | yxn |
где 
, например = 
.
Эмпирическая функция регрессии: ломаная, проведённая через точки с координатами (Xi; 
)
Теоретическая линия регрессии:
По виду эмпирической линии регрессии, определим тип кривой (вид функции), которая наилучшим образом отразит зависимость между Х и 
. Если точки ( 
) расположены «вдоль» прямой, строят «прямую регрессии», т.е. находят уравнение теоретической линии регрессии в виде
Аналогично строят регрессию икс на игрек.
6. Ковариация и корреляция случайных величин. Выборочный коэффициент корреляции.
Выборочный эмпирический корреляционный момент – величина, служащая для оценки тесноты связи между случайными величинами.
= 
. Если Х и У независимы 
0
При вычислении удобно пользоваться формулой 
Размерность коэффициента корреляции равна произведению размерностей случайных величин Х и У.
Для получения безразмерной величины, разделим его на произведение средних квадратичных отклонений.
Выборочный коэффициент корреляции:
= 
= 
или = 
Свойства выборочного коэффициента корреляции.
1) Значения коэффициента корреляции изменяются на множестве 
. 
,то есть
2) Чем больше 
, темтеснее связь между изучаемыми количественными признаками.
3) Если =1 –связь между случайными величинами становится функциональной.
4) Если 
=0 –корреляционная линейная зависимость между изучаемыми признаками отсутствует. Но это не исключает существования какого-либо другого вида корреляционной зависимости (например показательной).
Данные делятся на группы в зависимости от уровней (их p) влияющего на них фактора. Пусть в каждой группе q наблюдений значения фактора.
По каждой группе вычисляется средняя 
.
Общая дисперсия показывает разброс всех данных относительно среднего значения. 
; 
Факторная дисперсия показывает разброс средних групповых значений относительно общего среднего. 
; 
Остаточная дисперсия 
Отношение исправленной факторной к исправленной остаточной дисперсии является критерием, определяющим значимость влияния исследуемого фактора на измеряемый признак. Если наблюдаемое значение критерия превышает критическое, взятое из таблицы распределения Фишера – Снедекора, то гипотеза о влиянии фактора на измеряемый признак принимается.
8. Статистические гипотезы – предположения о виде неизвестного распределения или о параметрах известных распределений.
Выдвигаемую гипотезу называют нулевой (основной) гипотезой. Обозначают 
.
Статистический критерий – случайная величина, служащая для проверки основной гипотезы.
Критическая область – область значений критерия, при которых гипотеза отвергается.
В результате проверки гипотез могут совершаться ошибки первого и второго рода.
, 
, 
, 
Алгоритм критерия согласия Пирсона: Выдвигается гипотеза о виде распределения неизвестной СВ, по данным выборки находим точечные оценки параметров распределения этой СВ методом моментов. Находим теоретические частоты, вычисляем значение критерия Пирсона и сравниваем его с критическим, взятым из тб. распред 
, для заданных степеней свободы и уровня значимости.
Задачи проверки статистических гипотез:
1. О равенстве дисперсий
(распределение Фишера- Снедекора; 
)
Наблюдаемое значение критерия 
2.О равенстве матожиданий
(распределние Стьюдента. 
)
При подтверждённой предыдущей гипотезе вычисляем 
3. О равенстве матожидания заданному числу a при неизвестной дисперсии
(распределние Стьюдента; 
)
4. О равенстве матожидания заданному числу при известной дисперсии
(Функция Лапласа; 
)
Вопросы к модулю по матстатистике.
1. Определение и задачи математической статистики.
2. Выборочный метод сбора статистических данных.
3. Статистическое распределение случайной величины. Эмпирическая функция распределения.
4. Полигон частот и гистограмма.
5. Выборочные характеристики.
6. Понятие точечных и интервальных оценок. Доверительный интервал.
7. Свойства точечных оценок.
8. Метод моментов и метод максимального правдоподобия для точечной оценки параметров распределения
9. Основные задачи и понятия теории корреляции
10. Ковариация и корреляция случайных величин. Выборочный коэффициент корреляции и его свойства
11. Эмпирическая и теоретическая линии регрессии.
12. Факторный анализ.
13. Статистические гипотезы. Алгоритм применения критерия согласия Пирсона.
14. Задачи проверки статистических гипотез.
Вопросы к экспресс опросу.
1) Чем занимается матстатистика?
2) Основные задачи матстатистики?
3) Что такое выборка и генеральная совокупность?
4) Какая выборка называется репрезентативной?
5) В чём суть повторны и бесповторных методов составления выборки?
6) В чём заключается типический и серийный способы составления выборки?
7) В чём заключается простой и механистический способы составления выборки?
8) Как выглядит статистическое распределение случайной величины?
9) Что такое накопленные частоты? Эмпирическаая фенкция распределения?
10) Как строят полигон частот и гистограмму?
11) Формула для вычисления среднего значения выборки
12) Формула для вычисления выборочной дисперсии
13) Формула для вычисления средневыборочного отклонения
14) Формула для вычисления начального эмпирического момента.
15) Формула для вычисления центрального эмпирического момента.
16) Понятие моды, медианы и размаха варьирования выборки
17) Формула для вычисления исправленной выборочной дисперсии.
18) Понятие точечной оценки и её точности.
19) Понятие несмещённой оценки.
20) Понятие эффективной оценки.
21) Понятие состоятельной оценки.
22) Метод моментов отыскания неизвестных параметров равномерного распределения исследуемого признака.
23) Метод моментов отыскания неизвестных параметров нормального распределения исследуемого признака.
24) Интервальная оценка. Доверительный интервал и надёжность оценки.
25) Формула для вычисления доверительного интервала для неизвестного матожидания нормальнораспределённой случайной величины.
26) Формула для вычисления доверительного интервала для неизвестного среднеквадратического отклонения нормальнораспределённой случайной величины.
27) Основные задачи теории корреляции.
28) Понятие корреляционной таблицы.
29) Понятие корреляционной зависимости.
30) Вид линий эмпирической и теоретической регрессии.
31) Формула для построения теоретической линии регрессии игрека на икс.
32) Формула для построения теоретической линии регрессии икса на игрек.
33) Расскажите о ковариации случайных величин.
34) Формула для вычисления коэффициента корреляции.
35) Свойства коэффициента корреляции.
36) Алгоритм применения факторного анализа.
37) Формула для вычисления факторных и общих дисперсий при равном количестве данных в каждой группе фактора.
38) Понятие статистических гипотез и критериев.
39) Статистические ошибки проверки гипотез.
40) Задача проверки гипотезы о равенстве двух дисперсий.
41) Задача проверки гипотезы о равенстве двух матожиданий.
42) Задача проверки гипотезы о равенстве матожидания заданному числу при известной дисперсии.
43) Задача проверки гипотезы о равенстве матожидания заданному числу при неизвестной дисперсии.