Методы нахождения оценок параметров

07.07.202217.07.2022 admin 0 Comments

Математическая статистика

Точечные оценки

Методы получения точечных оценок

Точечной оценкой неизвестного параметра θ, вообще говоря, может являться любая статистика. Однако на практике интерес представляют лишь наиболее «качественные» оценки, для которых вероятность того, что при реализации случайной выборки они примут значение максимально близкое к неизвестному значению θ наибольшая. Такие оценки должны быть несмещёнными, состоятельными и эффективными. Возникает вопрос, как получить качественную оценку для произвольного параметра θ наблюдаемой случайной величины X?

1. Метод подстановки

Например, согласно методу подстановки оценкой математического ожидания будет выборочное среднее, а оценкой дисперсии – выборочная дисперсия.

Все оценки, рассчитанные по методу подстановки, являются состоятельными, однако их несмещённость и эффективность не гарантированы. Примером смещённой оценки, рассмотренной ранее, является выборочная дисперсия.

Метод моментов состоит нахождении такого вектора параметров θ, при котором теоретические моменты равны выборочным моментам, т.е. в разрешении системы уравнений вида:

Число уравнений в системе (1) равно числу неизвестных параметров k. Для получения оценок по методу моментов, вообще говоря, могут быть выбраны любые моменты произвольных порядков, однако, как правило, на практике используют лишь моменты низших порядков.

Все оценки, рассчитанные по методу моментов, являются состоятельными, однако их несмещённость и эффективность, так же, как и в случае метода подстановки, не гарантированы.

Точечные оценки, полученные по методу моментов, называются ММ-оценками.

Пример 1

3. Метод максимального правдоподобия

Метод максимального правдоподобия (maximum likelihood estimation, MLE) является наиболее популярным методом оценивания неизвестных параметров распределений.

Учитывая, что компоненты X₁,…, X_n случайной выборки, реализациями которых являются выборочные значения x ₁,…,x_n, независимы, многомерная функция плотности есть произведение одномерных функций плотностей:

В (2) учтено, что все компоненты X₁,…, X_n имеют одинаковое распределение, совпадающее с распределением генеральной совокупности X.

Функция правдоподобия выборки x₁,…, x_n является функцией только вектора неизвестных параметров θ.

Запишем необходимое условие экстремума функции правдоподобия:

На практике бывает удобно вместо системы уравнений (3) составить систему уравнений

Все оценки, рассчитанные по методу максимального правдоподобия, являются состоятельными и, по крайней мере, асимптотически несмещёнными и асимптотически эффективными. Если для неизвестного параметра существует эффективная оценка, то метод максимального правдоподобия даёт именно эту оценку.

Точечные оценки, полученные по методу максимального правдоподобия, называются МП-оценками.

Источник

Глава 3 Оценка параметров

Цель любого физического эксперимента — проверить, выполняется ли некоторая теоретическая закономерность ( модель ), а также получить или уточнить её параметры. Поскольку набор экспериментальных данных неизбежно ограничен, а каждое отдельное измерение имеет погрешность, можно говорить лишь об оценке этих параметров. В большинстве случаев измеряется не одна величина, а некоторая функциональная зависимость величин друг от друга. В таком случае возникает необходимость построить оценку параметров этой зависимости.

Для построения оценки нужны следующие компоненты

процедура построения оценки параметров по измеренным данным («оценщик»):

Рассмотрим самые распространенные способы построения оценки.

3.1 Метод минимума хи-квадрат

Обозначим отклонения результатов некоторой серии измерений от теоретической модели y = f ⁢ ( x | θ ) как

где θ — некоторый параметр (или набор параметров), для которого требуется построить наилучшую оценку. Нормируем Δ ⁢ y i на стандартные отклонения σ i и построим сумму

Можно показать (см. [ 5 ] ), что оценка по методу хи-квадрат является состоятельной, несмещенной и, если данные распределены нормально, имеет максимальную эффективность (см. приложение 5.2 ).

3.2 Метод максимального правдоподобия.

Рассмотрим кратко один из наиболее общих методов оценки параметров зависимостей — метод максимума правдоподобия.

Сделаем два ключевых предположения:

зависимость между измеряемыми величинами действительно может быть описана функцией y = f ⁢ ( x | θ ) при некотором θ ;

все отклонения Δ ⁢ y i результатов измерений от теоретической модели являются независимыми и имеют случайный (не систематический!) характер.

3.3 Метод наименьших квадратов (МНК).

Оценка по методу наименьших квадратов (МНК) удобна в том случае, когда не известны погрешности отдельных измерений. Однако тот факт, что метод МНК игнорирует информацию о погрешностях, является и его основным недостатком. В частности, это не позволяет определить точность оценки (например, погрешности коэффициентов прямой σ k и σ b ) без привлечения дополнительных предположений (см. п. 3.6.2 и 3.6.3 ).

3.4 Проверка качества аппроксимации

В теории вероятностей доказывается (см. [ 4 ] или [ 5 ] ), что ожидаемое среднее значение (математическое ожидание) суммы χ 2 в точности равно числу степеней свободы:

3.5 Оценка погрешности параметров

Легко убедиться, что:

Вероятностное содержание этого интервала будет равно 68% (его еще называют 1– σ интервалом). Отклонение χ 2 на 2 будет соответствовать уже 95% доверительному интервалу.

3.6 Методы построения наилучшей прямой

3.6.1 Метод наименьших квадратов

Пусть сумма квадратов расстояний от точек до прямой минимальна:

Данный метод построения наилучшей прямой называют методом наименьших квадратов (МНК).

Напомним, что угловые скобки означают усреднение по всем экспериментальным точкам:

Эти соотношения и есть решение задачи о построении наилучшей прямой методом наименьших квадратов.

3.6.2 Погрешность МНК в линейной модели

Пользуясь в этих предположениях формулами для погрешностей косвенных измерений (см. раздел ( 2.6 )) можно получить следующие соотношения:

В частном случае y = k ⁢ x :

3.6.3 Недостатки и условия применимости МНК

Формулы ( 3.7 ) (или ( 3.6 )) позволяют провести прямую по любому набору экспериментальных данных, а полученные выше соотношения — вычислить соответствующую среднеквадратичную ошибку для её коэффициентов. Однако далеко не всегда результат будет иметь физический смысл. Перечислим ограничения применимости данного метода.

В первую очередь метод наименьших квадратов — статистический, и поэтому он предполагает использование достаточно большого количества экспериментальных точек (желательно 10″ display=»inline»> n > 10 ).

Наконец, стоит предостеречь от использования любых аналитических методов «вслепую», без построения графиков. В частности, МНК не способен выявить такие «аномалии», как отклонения от линейной зависимости, немонотонность, случайные всплески и т.п. Все эти случаи требуют особого рассмотрения и могут быть легко обнаружены визуально при построении графика.

3.6.4 Метод хи-квадрат построения прямой

Пусть справедливы те же предположения, что и для метода наименьших квадратов, но погрешности σ i экспериментальных точек различны. Метод минимума хи-квадрат сводится к минимизации суммы квадратов отклонений, где каждое слагаемое взято с весом w i = 1 / σ i 2 :

Этот метод также называют взвешенным методом наименьших квадратов.

Определим взвешенное среднее от некоторого набора значений < x i >как

где W = ∑ i w i — нормировочная константа.

Повторяя процедуру, использованную при выводе ( 3.7 ), нетрудно получить (получите) совершенно аналогичные формулы для искомых коэффициентов:

Источник

Метод оценки в задачах с параметрами

В этой статье мы рассмотрим мощный метод, который применяется, когда в левой и правой частях уравнения или неравенства стоят функции разных типов. Для того чтобы лучше его запомнить, расскажем историю о том, как птичка и рыбка полюбили друг друга.

Еще раз: в левой и правой частях уравнения находятся функции разных типов. Мы помним, что в математике существует 5 типов элементарных функций: степенные, показательные, логарифмические, тригонометрические и обратные тригонометрические. Подробно о них — в статье «Элементарные функции и их графики».

Мы знаем из курса алгебры, что уравнения, которые мы решаем, обычно относятся к одному из этих пяти типов. Показательные и логарифмические, квадратные и тригонометрические уравнения — для каждого типа есть свои характерные приемы и способы решения. И основаны они на тех или иных свойствах функций. Для тригонометрических уравнений — свои способы решения, для логарифмических — свои.

Но сейчас мы рассмотрим уравнение, в левой и правой частях которого находятся функции разных типов. Вот оно:

Такое уравнение бесполезно возводить в квадрат или делать с ним арифметические действия. Бесполезно брать логарифмы от обеих частей — от этого оно станет только хуже.

Что же с ним делать? Упростим его, насколько возможно.

Посмотрим на правую часть этого уравнения. Очевидно,

Интересно — а какой же будет левая часть? Давайте оценим и ее тоже.

Поскольку получим, что

Получается, что при всех значениях х левая часть уравнения не меньше, чем 8, а правая часть не больше, чем 8. И это значит, что решением уравнения могут быть только такие значения переменной х, когда и левая, и правая часть равны 8. Тогда они равны друг другу. В этом и состоит метод оценки.

Метод оценки применяется для уравнений и неравенств, где функции, стоящие в левой и правой части, могут быть равны друг другу только в определенной точке, причем одна из них принимает в этой точке наименьшее значение, а другая — наибольшее.

Вот как это выглядит:

А чтобы лучше запомнить суть метода, рассказываем историю.

Глубоко-глубоко в море жила маленькая рыбка. А высоко-высоко в небе жила маленькая птичка. И однажды они полюбили друг друга! А встретиться они могли только в одной точке, на границе моря и неба, до которой рыбке надо подняться, а птичке — спуститься!

Смотри видео о том, как птичка и рыбка полюбили друг друга и что из этого получилось

О чем эта история? О нашем уравнении, конечно! В левой и правой его частях находятся функции разных типов. И при определенном значении х они оказались равны друг другу. Легко заметить, что значения выражения в левой части всегда больше либо равны восьми («птичка»), значения выражения в правой части — меньше либо равные восьми («рыбка»). И возможно, есть такая точка, где у одной из этих функций будет минимум, а у другой — максимум, причем значение каждой из них станет равно восьми.

Нам осталось только проверить, что эта точка действительно есть. Приравняем правую часть к восьми.

Подставив в левую часть, получим, что и она равна восьми при этом значении x. Значит, является единственным корнем данного уравнения.

Вот еще одна задача на метод оценки.

Умножим обе части данного неравенства на положительную величину:

В левой и правой частях полученного неравенства оказались функции разных типов. Метод оценки!

Выделим под логарифмом полный квадрат:

Неравенство примет вид:

Наибольшее значение выражения под логарифмом равно 2. Стало быть, наибольшее значение логарифма равно
, то есть 1, и достигается оно при единственном значении x = 3.

В то же время, наименьшее значение выражения также равно 1, и достигается оно при том же единственном значении x= 3.

Поэтому последнее неравенство будет выполнено лишь в одном-единственном случае: когда обе его части равны 1, т. е. при x = 3. Решением данного неравенства служит единственное число!

Мы обещали задачи с параметрами, которые решаются методом оценки. Вот, пожалуйста:

18. Найдите все значения а, при которых уравнение

имеет ровно два решения.

Обозначим Уравнение примет вид:

Мы видим, что левая часть этого уравнения не меньше единицы, а правая часть — не больше единицы. Равенство может быть, только если обе они равны единице.

Это классическая задача на метод оценки.

В нашем случае функция f в левой части уравнения и функция g в правой части «встречаются», когда одна из них принимает свое наименьшее значение, равное единице, а другая — свое наибольшее значение, также равное единице.

Второе уравнение означает, что частное — целое число.

В первом уравнении сделаем замену

Нам нужно, чтобы исходное уравнение относительно х имело два корня.

Заметим, что так как если то и двух корней не получится.

График функции — парабола с вершиной М(3;-9)

Источник

Методы нахождения оценок

Метод моментов (К.Пирсон)

Этот метод заключается в том, что определенное количество выборочных моментов (начальных или центральных) приравнивается к соответствующим моментам теоретического распределения, являющимся функциями от неизвестных оцениваемых параметров. Решая полученную систему уравнений относительно этих параметров, находим искомые оценки.

Рассматриваемое количество моментов должно быть равно числу подлежащих оценке параметров.

Этот метод не требует сложных вычислений, он даёт состоятельные оценки, но зачастую малоэффективные.

Пример.Найти по выборке x₁; х₂;…; x_n точечную оценку неизвестного параметра λ показательного распределения.

Начальный теоретический момент 1-ого порядка (математическое ожидание):

M(x) = f(x) dx =

Выборочный начальный момент 1-ого порядка:

(x) = => = =>

= (искомая оценка равна величине, обратной выборочному среднему).

Метод максимального правдоподобия

Имеется независимая выборка значений величины X: x₁; х₂;…; x_n_.

Предположим, что вид закона распределения X задан, но неизвестен параметр t, от которого зависит этот закон.

В качестве оценки берется функция (функция правдоподобия), которая приводит к наибольшей вероятности появления именно той выборки, которая получена.

Пусть X –дискретная случайная величина.

В качестве оценки принимается такое значение t, при котором функция правдоподобия достигает максимума.

=0 – уравнение правдоподобия.

Замечание. В случае, когда имеется несколько параметров распределения, дифференцируют функцию правдоподобия по каждому из параметров, приравнивают все частные производные к 0 и, решая полученную систему уравнений, находят искомые оценки параметров.

Функции L и достигают максимума при одном и том же значении t, поэтому рассматривают логарифмическую функцию правдоподобия:

; t) + ; t)+…+ ; t)

Пусть X –непрерывная случайная величина.

(где f(x,t)-плотность вероятности).

Пример. Найти оценку для вероятности p наступления некоторого события A по данному числу m появления этого события в n независимых испытаниях.

Составим функцию правдоподобия:

L(x₁; х₂;…; x_n; p) = =

= + = m + (n-m) — логарифмическая функция правдоподобия.

= + (-1) = = 0

= . Оценка .

Метод наименьших квадратов

Оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки. Это один из наиболее простых приемов.

Над системой (X;Y) произведено n-независимых опытов, в результате которых получены данные: (x₁; y₁), (х₂, у₂), …, (х_n; у_n).

Требуется найти такие a,b, чтобы y=ax+b.

Ф (а; b) = 2

После преобразований можно получить:

= (y) – (x)

y= x + — эмпирическое (или выборочное) уравнение регрессии Y на X.

Метод наименьших квадратов получил самое широкое применение в практике статистических исследований, так как, во-первых, не требует знания закона распределения выборочных данных, во-вторых, достаточно хорошо разработан в плане вычислительной реализации.

Источник