Файл: теория вер-й.docx

19. Выборочная средняя, её свойства.

Вы́борочное (эмпири́ческое) сре́днее — это приближение теоретического среднего распределения, основанное на выборке из него.

Определение: Пусть   — выборка из распределения вероятности, определённая на некотором вероятностном пространстве  . Тогда её выборочным средним называется случайная величина.

Свойства выборочного среднего :

Пусть   — выборочная функция распределения данной выборки. Тогда для любого фиксированного   функция   является (неслучайной) функцией дискретного распределения. Тогда математическое ожидание этого распределения равно 

Выборочное среднее — несмещённая оценка теоретического среднего:

.

Выборочное среднее — сильно состоятельная оценка теоретического среднего:

 почти наверное при  .

Выборочное среднее — асимптотически нормальная оценка. Пусть дисперсия случайных величин   конечна и ненулевая, то есть  .

Тогда

 по распределению при  ,

где   — нормальное распределение со средним   и дисперсией  .

Выборочное среднее из нормальной выборки — эффективная оценка её среднего

20. Выборочная дисперсия, её свойства.

Выборочная дисперсия в математической статистике — это оценка теоретической дисперсии распределения на основе выборки. Различают выборочную дисперсию и несмещённую, или исправленную, выборочные дисперсии.

Определения

Пусть   — выборка из распределения вероятности. Тогда

Выборочная дисперсия — это случайная величина

,

где символ   обозначает выборочное среднее.

Несмещённая (исправленная) дисперсия — это случайная величина

.

Замечание

Очевидно,

.

Свойства выборочных дисперсий

Выборочная дисперсия является теоретической дисперсией выборочного распределения. Более точно, пусть   — выборочная функция распределения данной выборки. Тогда для любого фиксированного   функция   является (неслучайной) функцией дискретного распределения. Дисперсия этого распределения равна  .

Обе выборочные дисперсии являются состоятельными оценками теоретической дисперсии. Если  , то

И ,

где   обозначает сходимость по вероятности.

Выборочная дисперсия является смещённой оценкой теоретической дисперсии, а исправленная выборочная дисперсия несмещённой:

,

И

.

Выборочная дисперсия нормального распределения имеет распределение хи-квадрат. Пусть  . Тогда

21. Статистические оценки: несмещенные, эффективные, состоятельные

Состоятельной называют такую точечную статистическую оценку, которая при n стрем к бесконечн стремится по вероятности к оцениваемому параметру. В частности, если дисперсия несмещенной оценки при n стр к беск стремится к нулю, то такая оценка оказывается и состоятельной.

Рассмотрим оценку θ_n числового параметра θ, определенную при n = 1, 2, … Оценка θ_nназывается состоятельной, если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ_n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

---

Пример 3. Из закона больших чисел следует, что θ_n =  является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D(X); однако, как доказал А.Я. Хинчин [6], достаточно выполнения более слабого условия – существования математического ожидания М(Х)).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5. Так, согласно теореме В.И. Гливенко, эмпирическая функция распределенияF_n(x) является состоятельной оценкой функции распределения результатов наблюденийF(x)

Несмещенной называют такую точечную статистическую оценку Q*математическое ожидание которой равно оцениваемому параметру: M(Q*)=Q

Второе важное свойство оценок – несмещенность. Несмещенная оценка θ_n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М(θ_n) = θ.

Пример 6. Из приведенных выше результатов следует, что  и  являются несмещенными оценками параметров m и σ² нормального распределения. Поскольку М( ) = М(m**) = m, то выборочная медиана  и полусумма крайних членов вариационного ряда m** - также несмещенные оценки математического ожидания mнормального распределения. Однако

поэтому оценки s² и (σ²)** не являются состоятельными оценками дисперсии σ²нормального распределения.

Оценки, для которых соотношение М(θ_n) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ_n и оцениваемым параметром θ, т.е. М(θ_n) – θ, называется смещением оценки.

Пример 7. Для оценки s², как следует из сказанного выше, смещение равно

М(s²) - σ² = - σ²/n.

Смещение оценки s² стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной. В примере 7 показано, что оценка s² является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М(θ_n – θ)². Как следует из основных свойств математического ожидания и дисперсии,

   (3)

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n, а смещение – не более чем 1/n, где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

---

   (4)

где с – число, определяемое методом вычисления оценок θ_n и истинным значением оцениваемого параметра θ.

Эффективной называют такую точечную статистическую оценку, которая при фиксированном n имеет наименьшую дисперсию.

С дисперсией оценки связано третье важное свойство метода оценивания –эффективность. Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано [11], что  и  являются эффективными оценками параметров m и σ²нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки  параметра m к дисперсии несмещенной оценки  этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М(θ_n) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m₁ ≡ 0. Тогда D(m₁) = 0, т.е. всегда меньше дисперсии D( ) эффективной оценки . Математическое ожидание среднего квадрата ошибки d_n(m₁) = m², т.е. при  имеем d_n(m₁) < d_n( ). Ясно, однако, что статистику m₁ ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m.

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T_n – состоятельная, асимптотически несмещенная оценка математического ожидания m, при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T_n не хуже  (при сравнении по среднему квадрату ошибки d_n), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ_n, используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х, где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d_n(θ_n).

22. Точечные и интервальные оценки.

Точечной оценкой неизвестного параметра называют число (точку на числовой оси), которое приблизительно равно оцениваемому параметру и может заменить его с достаточной степенью точности в статистических расчетах.

---

Для того чтобы точечные статистические оценки обеспечивали “хорошие” приближения неизвестных параметров, они должны быть несмещенными, состоятельными и эффективными.

Определение :Пусть   — случайная выборка из распределения, зависящего от параметра  . Тогда статистику  , принимающую значения в  , называют точечной оценкой параметра  Замечание 

Формально статистика   может не иметь ничего общего с интересующим нас значением параметра  . Её полезность для получения практически приемлемых оценок вытекает из дополнительных свойств, которыми она обладает или не обладает.

Свойства точечных оценок 

Оценка   называется несмещённой, если её математическое ожидание равно оцениваемому параметру генеральной совокупности:

,

где   обозначает математическое ожидание в предположении, что   — истинное значение параметра (распределения выборки  ).

Оценка   называется эффективной, если она обладает минимальной дисперсией среди всех возможных несмещенных точечных оценок.

Оценка   называется состоятельной, если она по вероятности с увеличением объема выборки n стремится к параметру генеральной совокупности:  ,

 по вероятности при  .

Оценка   называется сильно состоятельной, если  ,

 почти наверное при  .

Надо отметить, что проверить на опыте сходимость «почти наверное» не представляется возможным, поэтому с точки зрения прикладной статистики имеет смысл говорить только о сходимости по вероятности.

Интервальной называют оценку, которая определяется двумя числами – концами отрезка.

Интервальные оценки – характеризуют не единственно возможную ситуацию, а их множественность. Этот вид экспертных оценок широко распространен. Одним из определяющих свойств интервальной оценки является то, что на множестве задано бинарное отношение  МЕЖДУ.

Определение

Пусть   - неизвестный параметр генеральной совокупности. По сделанной выборке по определенным правилам находятся числа   и   такие чтобы выполнялось неравенство:

Интервал   является доверительным интервалом для параметра , а число   - доверительной вероятностью или надежностью сделанной оценки. Обычно надежность задается заранее, причем выбираются числа близкие к 1 (0.95, 0.99 или 0.999).

Примеры интервальных оценок

Пример 1. Доверительное оценивание по вариационному ряду.

Пусть задана выборка   некоторой случайной величины   Построим вариационный ряд выборки 

Очевидно, что вероятность попасть в любой из   - го интервалов значений случайной величины   одинакова и равна   Тогда вероятность того, что случайная величина   приняла значение из интервала   где   будет равна:

Вопрос: чему должен быть равен размер выборки   чтобы вероятность попасть в интервал   составила 95%.

Подставляя значение для доверительной вероятности в формулу выше, получим:

---

откуда 

Таким образом, при достаточном для заданной доверительной вероятности числе измерений случайной величины   по набору ее порядковых статистикможет быть оценен диапазон принимаемых ею значений.

Пример 2. Доверительный интервал для медианы.

Пусть задана выборка   некоторой случайной величины 

При   доверительный интервал для медианы   определяется порядковыми статистиками

где

 при 

 при 

 при 

Для значений   номера порядковых статистик, заключающих в себе медиану, при   и   приведены в таблице 1, взятой из [3].

Пример 3. Доверительный интервал для математического ожидания.

Пусть задана выборка   некоторой случайной величины , арактеристики которой (дисперсия D и математическое ожидание M) неизвестны. Эти параметры оценим так:

 - несмещенная оценка дисперсии.

Величину   называют оценкой среднего квадратического отклонения. Воспользуемся тем, что величина   представляет собой сумму независимых случайных величин, и, согласно центральной предельной теореме, при достаточно большом   ее закон близок к нормальному. Поэтому будем считать, что величина   распределена по нормальному закону. Характеристики этого закона - математическое ожидание и дисперсия - равны соответственно M (настоящее МО случайной величины ) и .

Найдем такую величину , для которой . Перепишем это в эквивалентном виде   и скажем, что случайная величина перед знаком неравенства есть модуль от стандартной нормальной. Получаем, что , и . В случае неизвестной дисперсии ее можно заменить на оценку .

Например, выбирая , получаем коэффициент 

Окончательно: с вероятностью   можно сказать, что 

23. Точность и надежность оценки, доверительный интервал.

---