Предположим, что изучается случайная величина с некоторым законом распределения, зависящим от одного или нескольких параметров.

Напомним, что случайные величины, полученные в результате опытов (наблюдений), при этом: результат первого наблюдения, результат второго наблюдения и т.д., при этом каждая с.в. имеет такое же распределение как :

конкретная выборка это значения (реализация) независимых случайных величин

.

Статистической оценкой (далее просто оценкой - оценкой ) параметра теоретического распределения называющего приближённое значение, зависящее от данных (свойства) выборки.

Для того чтобы статистические оценки давали «хоро­шие» приближения оцениваемых параметров, они должны удовлетворять определенным требованиям.

- Требования, предъявляемые к оценкам параметров.

Предположим, что закон распределения с.в. содержит некоторый параметр . Численное значение этого параметра не указано (хотя оно должно быть определённым числом). В связи с этим возникает задача: исходя из набора значений величины , полученного в результате независимых опытов, оценить значение параметра .

Любая оценка для - обозначим её буквой - является значением некоторой функции результатов наблюдений над случайной величиной , т.е.

(1) .

Тем самым будет случайной величиной (принимающей свои значения в результате опытов над ). Её закон распределения будет зависеть от закона распределения с.в. , которому подчинена каждая из величин , а следовательно величин и от проводимого количества опытов .

Естественно, к оценке величины предъявить ряд требований, которым она должна удовлетворять, чтобы быть «близкой» к истинному значению параметра , быть в каком-то смысле «доброкачественной, надёжной» оценкой. Попробуем сформулировать некоторые из этих требования:

1. Желательно, чтобы, при использовании величиной вместо , не происходили систематические ошибки ни в одну сторону (ни в сторону занижения, ни в сторону завышения), т.е. чтобы было

(16)

Оценка, удовлетворяющая условию (16) называется «несмещённой». Требование наличие несмещённой оценки особенно важно при «малом» числе испытаний (опытов).

Другими словами несмещённой называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру при любом объёме выборки.

В случаях, когда , то оценка называется «асимптотически несмещённой».

Смещённой называют оценку, математическое ожидание которой не равно оцениваемому параметру.

2. Желательно, чтобы с увеличением числа опытов , значения случайной величины концентрировались около величины все более тесно, т.е. чтобы выполнялось предел

(17)

когда .

Другими словами, оценка параметра , называют «состоятельной», если она сходится по вероятности к оцениваемому параметру :

---

т.е. для любого выполняется предельное равенство:

(18)

Равенство (18) означает, что с увеличением объёма выборки мы всё ближе приближаемся к истинному значению параметра ; т.е. практически верно приближённое равенство .

Теорема 19.1. Если оценка параметра является несмещённой и выполняется равенство , то является состоятельной оценкой, т.е. справедливо равенство

Доказательство. На основании неравенство Чебышева для с.в. для любого имеем

Поскольку, по условию (17) то Но вероятность любого события не превосходит единицы и, следовательно, выполняется предельное равенство (18), т.е. состоятельность оценки к параметру доказана.

Замечание. Свойство состоятельности обязательно для любого правила оценки (несостоятельные оценки не используются).

Однако было бы ошибочным считать, что несмещенная оценка всегда дает хорошее приближение оцениваемого параметра. Действительно, возможные значения могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсия может быть значительной. В этом случае, найденная по данным одной выборки оценка, на­пример , может оказаться весьма удаленной от сред­него значения , а значит, и от самого оцениваемого параметра ; приняв в качестве приближенного значения , мы допустили бы большую ошибку. Если же потребо­вать, чтобы дисперсия была малой, то возможность до­пустить большую ошибку будет исключена. По этой при­чине к статистической оценке предъявляется требование «эффективности».

Несмещённая оценка параметра называется эффективной, если она среди всех возможных несмещённых оценок параметра , имеет наименьшую дисперсию, т.е. оценка эффективна, если ее дисперсия минимальна.

Эффективную оценку в ряде случаев можно вычислять, на основании формулы (неравенство) Рао – Крамера:

где информация Фишера, определяемая формулами:

в дискретном случае, где , а в непрерывном случае

где плотность распределения непрерывной случайной величины

Эффективность оценки определяется равенством (формулой):

,

где эффективная оценка, а . Чем ближе к единице, тем эффективнее оценка . Если при то оценка называется асимптотически эффективной.

Следует отметить, что на практике не всегда удаётся удовлетворить всем перечисленным выше требованиям (несмещённость, состоятельность, эффективность), и поэтому приходится ограничиться (довольствоваться) оценками, не обладающими сразу всеми тремя свойствами. Тем не менее, выполнение всех трёх свойств, как правило, обеспечивает однозначность оценки.

- Точечные оценки математического ожидания и дисперсии, оценки параметров

нормального распределения

Предположим, что заранее известен вид теоретического распределения интересующего нас признака , но параметры этого распределения не известны и должны быть найдены по данным выборки. Например, если известно, что интересующая нас величина распределена по нормальному закону, то нужно определить математическое ожидание и среднеквадратическое отклонение (или дисперсии). Другими словами неизвестными параметрами являются: м.о. и дисперсия Требуется их найти. Поскольку в качестве оценки обычно ищут количество точек характеризующих искомое число (точку на координатной оси), то такие оценки называют точечными.

---

Статистика (число), используемая в качестве приближённого значения неизвестного параметра генеральной совокупности, называется её точечной оценкой. Другими словами, точечная оценка характеристики генеральной совокупности – это число, определяемое по выборке, т.е. точечная оценка, определяется одним числом (например, в качестве точечной оценки неизвестной вероятности в случае биномиального распределения берут относительную частоту).

Пусть выборка, полученная в результате проведения независимых наблюдений за с.в. .

Чтобы подчеркнуть то, что величины носят случайный характер перепишем их в виде последовательности случайных величин , т.е. под будем подразумевать значение с.в. в м опыте. Случайные величины можно рассматривать как независимых «экземпляров» величины . Поэтому имеем: и

= Имеет место утверждение

Теорема 19.2. Пусть выборка из генеральной совокупности и . Тогда выборочное среднее

есть несмещённая и состоятельная оценка математического ожидания .

Доказательство. Найдём математическое ожидание величины . На основании свойства м.о. имеем:

Отсюда по определению (16) получаем, что есть несмещённая оценка

Далее, согласно теореме Чебышева для любого имеет место равенство

(19)

Согласно условиям теоремы, равенство (19) можно переписать в следующем виде:

(20)

или, именно выполняется равенство (18) Тем самым, согласно определению получаем, что есть состоятельная оценка

В статистике оценку математического ожидания принято обозначать: или .

На практике во всех случаях в качестве оценки математического ожидания используется среднее арифметическое, если она неизвестно.

Теперь покажем, что при нормальном распределении именно оценка будет эффективной.

Теорема 19.3. Пусть с.в. выборка из генеральной совокупности и , её выборочная дисперсия. Тогда справедливо равенство

(21) .

Доказательство. Покажем, что имеет место равенство (по поводу обозначений выборочных параметров см. равенства (7)-(11) в пункте 18.6.). На основании свойства м.о. и определения.

,

вычислим величину , имеем

(22)

=

Далее, используем известное равенство

(23) ,

где во втором слагаемом суммирование ведётся по , а количество слагаемых равняется числу . Согласно (22) и (23) после стандартных упрощений получим

.

.

Отсюда, согласно условиям теоремы получим

= .

Утверждение доказано. Из равенства (21) следует, что , т.е. выборочная дисперсия является смещённой оценкой дисперсии . Поэтому выборочную дисперсию, поправляют, путём умножения на число . Тогда получается формула

. см. 18.6, равенство (13). Имеет место следствие.

Следствие. В условиях теорем 19.2 и 19.3.справедливо равенство

Действительно,

---

(24)

Отсюда согласно определению получаем, что является несмещённой оценкой величины

Задание. Докажите состоятельность оценки .

Следует отметить, что при больших значениях разница между и очень мала и они практически равны, поэтому выборочную оценку применяют при оценки дисперсии при малых (небольших) выборках, обычно при

Ниже сформулируем без доказательства два утверждения о состоятельности некоторых оценок.

Утверждения. 1. Относительная частота появления события в независимых испытаниях является несмещённой состоятельной и эффективной оценкой неизвестной вероятности случайного события .

Это утверждение является непосредственным следствием ЗБЧ Бернулли.

2. Эмпирическая функция выборки является несмещённой состоятельной оценкой функции распределения случайной величины .

Пример 9. Пусть проводится повторное независимое испытание раз (например, подбрасывание монеты) по схеме Бернулли. Вероятность наступления событие (например, выпадения герба при каждом подбрасывание) равна . В ходе опыта было обнаружено, что событие (выпадение герба) наступило раз при испытаниях. Показать несмещённость и состоятельность оценки вероятности наступления событие (выпадение герба) в каждом опыте.

Решение. Число «успехов» имеет распределение Бернулли. Тогда для построения точечной оценки рассмотрим случайную величину

,

являющейся суммой индикаторов испытаний. Тогда математическое ожидание и дисперсия этого распределения (см. теорему Бернулли) имеют вид при этом . Следовательно,

,

т.е. есть несмещённая оценка. Далее проверим эту оценку на состоятельность:

На основании свойства м.о. и теоремы Чебышева, согласно которой среднее арифметическое системы случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий, т.е.

В следующем пункте рассмотрим наиболее распространённые методы получения точечных оценок параметров распределения.

2. Методы нахождения точечных оценок параметров распределения

В статистике наиболее часто применяемые методы нахождения точечных оценок параметров распределения являются:

- метод моментов (коротко (ММ);

- метод максимального правдоподобия (коротко - ММП);

- метод наименьших квадратов (коротко МНК).

2.1. Метод моментов (ММ)

Суть метода моментов для нахождения точечных оценок неизвестных параметров заданного распределения состоит в том, что приравнивается теоретические моменты распределения соответствующим эмпирическим моментам, найденные по выборке.

Например, если распределение зависит от одного параметра (задан вид плотности распределения ), то для нахождения его оценки нужно решить относительно одно уравнение:

где - есть функция от .

Если распределение зависит от двух параметров , (например, вид плотности распределения ), то надо решить систему уравнений:

---

относительно параметров .

И, наконец, если надо оценить параметров , то надо решить одну из систем вида:

(26) или

В этих системах мы видим, что присутствуют моменты до го порядков случайного события и его центрированного, .

Метод моментов является наиболее простым методом оценки параметров, и он был предложен в 1894г. Пирсоном. Оценки, получаемые методом моментов, обычно являются состоятельными, однако их эффективность часто меньше единицы.

Пример 10. Найдём оценки параметров нормального распределения с.в. применяя, метода моментов.

Решение. Пусть дана выборка найти точечные оценки параметров и . По методу моментов приравниваем их, соответственно, к выборочному среднему и выборочной дисперсии: начальный момент первого порядка, центральный момент второго порядка и получаем

Таким образом, искомые оценки параметров нормального распределения будут: и

2.2. Метод максимального правдоподобия (ММП)

Пусть выборка, полученная в результате проведения независимых наблюдений за с.в. И пусть вид закона распределения случайной величины , например, вид функции плотности известен, но неизвестен параметр , которым определяется этот закон. Требуется по заданной выборке оценить параметр

Метод максимального правдоподобия (ММП), предложен Р.Фишером в основе которого, лежит понятие так называемой функции «правдоподобия» .

Функцией правдоподобия, построенная по выборке называется функция, зависящая от аргумента и заданная в следующем виде:

(27)

Функция правдоподобия обладает свойством «вполне мультипликативности» по аргументам , равномерна относительно параметру , где - плотность распределения с.в. в случаях, когда с.в. является непрерывной. Если же с.в. является дискретной, то функция правдоподобия определяется равенством

(28)

где .

Замечание. На основании этих определений следует, что чем больше значение функции тем вероятнее (правдоподобнее) появление чисел в результате данного проводимого опыта (эксперимента) при фиксированном .

За точечную оценку параметра , согласно ММП, берут такое его значение при котором функция правдоподобия достигает максимального своего значения.

Такая оценка, называемая оценкой максимальной правдоподобия, является решением уравнения

(29) .

Из курса математического анализа известно, что функции и достигают своего максимума при одном и том же значении (самостоятельно убедитесь в этом), то вместо отыскания максимального значения функции ищут (что проще, где в правых частях равенств (27) и (28) каждое произведение превращается сумму слагаемых) максимум функции

Таким образом, для нахождения оценки максимального правдоподобия необходимо:

1. решить уравнение правдоподобия

---

Смотрите также файлы

• 18-19.doc

• 13-15_ГОТОВЫЙ!!!.doc

• Экономика. Учебное пособие 2011.doc

• Мет.Проект.АТП.doc

• Фотограмметрия. Ответы на вопросы 1-33.doc