Файл: Математическая статистика для чайников Консультация.pdf

Математическая статистика для чайников
Консультация
2020 - 2021 учебный год
Подготовила Андреева Софья,
БПИ183
Содержание
Статистические оценки
2
Свойства оценок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
Методы нахождения и построения оценок . . . . . . . . . . . . . . . . . . . . . . .
4
Доверительные интервалы
6
Доверительные интервалы для выборки из нормального распределения . . . . . .
7
Статистические гипотезы
9
Биномиальный критерий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
Гипотезы в гауссовских моделях . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Критерий Стьюдента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Критерий Фишера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Критерий проверки некоррелированности двух случайных величин . . . . . . . . 12 1

Статистические оценки
Возьмем некую выборку ????
1
, . . . , ????
????
, в которой все случайные величины ????
????
имеют распределе- ние, заданное функцией ???? (????, ????
1
, . . . , ????
????
)
. Здесь ????
1
, . . . , ????
????
– это некоторые параметры распре- деления, которые нам неизвестны, при этом их может как несколько, так и один.
К примеру, может быть известно, что ????
1
, . . . , ????
????
имеют нормальное распределение, но его пара- метры неизвестны, то есть ????
1
, . . . , ????
????
∼ ???? (????
1
, ????
2 2
)
(на всякий случай напомню, что обычно нор- мальное распределение имеет параметры ???? и ????
2
: ???? (????, ????
2
)
). А может оказаться так, что они име- ют тоже нормальное распределение, но неизвестен только параметр ???? : ????
1
, . . . , ????
????
∼ ???? (????
1
, 5 2
)
Так как некоторые параметры неизвестны, но известна выборка, хочется хотя бы примерно оценить, какие значения могут принимать эти параметры. И один из способов сделать это –
придумать точечную оценку.
Оценкой одного параметра ???? будем называть функцию от ????
1
, . . . , ????
????
, не зависящую от ????.
Обозначается она так: ˆ???? = ????(????
1
, . . . , ????
????
)
. Вообще говоря, это может быть абсолютно любая функция.
Например, захотел кто-то оценить математическое ожидание на выборке из 10 случайных ве- личин, и сказал, что придумал функцию 5????
2
− 7????
6
+ ????
9
. Это тоже является оценкой, но тут уже стоит задаться вопросом, насколько хорошая эта оценка. И вот для того, чтобы понять,
придумана хорошая оценка или плохая, существуют несколько свойств.
Свойства оценок
1. Несмещенность
Оценка ˆ???? называется несмещенной, если ее математическое ожидание равно параметру ????
????(ˆ
????) = ????
Например, рассмотрим оценку математического ожидания, которая известна как выборочное среднее: ˆ
???? = ¯
???? =
1
????
????
∑︀
????=1
????
????
. Посчитаем для нее математическое ожидание.
???? ¯
???? = ????
(︃
1
????
????
∑︁
????=1
????
????
)︃
=
1
????
????
∑︁
????=1
????????
????
=
1
????
????????????
1
= ????
(Немного пояснений по рассчетам: так как все ????
????
одинаково распределены, то у них всех будет одинаковое математическое ожидание, поэтому если просуммировать их все, получим ???? · ????)
Итак, посчитав все это, получили, что выборочное среднее является несмещенной оценкой для математического ожидания. А если немного изменить оценку, прибавив к ней некоторое число,
то получится, что она уже станет смещенной. Например, если взять оценку ˆ
???? = 3 +
1
????
????
∑︀
????=1
????
????
,
то ее математическое ожидание будет
???? ˆ
???? = ????
(︃
3 +
1
????
????
∑︁
????=1
????
????
)︃
= ????(3) + ????
(︃
1
????
????
∑︁
????=1
????
????
)︃
= 3 + ????
Это не равно ????, а значит оценка не является несмещенной.
2

Существует еще одна известная смещенная оценка для дисперсии, которую называют выбо- рочной дисперсией: ????
2
=
1
????
????
∑︀
????=1
(????
????
− ¯
????)
2
. Ее математичекое ожидание равно ????????
2
=
???? − 1
????
????
2
Выписывать здесь подсчеты не буду, они долгие и сложные, поэтому если хотите, можете сами попробовать это посчитать. А также есть еще оценка для дисперсии, которая уже является несмещенной – это несмещенная выборочная дисперсия: ˜
????
2
=
1
???? − 1
????
∑︀
????=1
(????
????
− ¯
????)
2
. Ее мате- матическое ожидание равно ???? ˜
????
2
= ????
2 2. Асимптотическая несмещенность
Оценка ˆ???? называется асимптотически несмещенной, если ее математическое ожидание стремится к параметру ????, когда объем выборки стремится к бесконечности.
lim
????→∞
????(ˆ
????) = ????
Рассмотрим выборочную дисперсию, выписанную немного выше. Она смещенная, но если ????
стремится к бесконечности, то ????????
2
=
???? − 1
????
????
2
→ ????
2
, а значит, она является асимптотически несмещенной.
3. Состоятельность
Оценка ˆ???? называется состоятельной, если она сходится по вероятности к ????.
ˆ
????
????
−−−→
????→∞
????
Если вспомнить, что такое сходимость по вероятности, то получается, что
∀???? > 0 ???? (|ˆ
???? − ????| > ????) −−−→
????→∞
0
Или, если хочется, чтобы было меньше ????, а не больше, то можно использовать формулу
∀???? > 0 ???? (|ˆ
???? − ????| ≤ ????) −−−→
????→∞
1
Если вспомнить здесь еще неравенство Чебышева, то можно получить достаточное условие состоятельности. По неравенству Чебышева ???? (|???? − ????????| ≤ ????) ≥ 1 −
????????
????
2
. Подставим вместо ????
оценку ˆ???? :
???? (|ˆ
???? − ???? ˆ
????| ≤ ????) ≥ 1 −
???? ˆ
????
????
2
И тогда очевидны два условия для состоятельности:
1. lim
????→∞
????(ˆ
????) = ????
2. lim
????→∞
????(ˆ
????) = 0
Если все это выполняется, то при ???? → ∞:
???? (|ˆ
???? − ????| ≤ ????) ≥ 1
А так как вероятность не может больше чем 1, то получим наше первоначальное определение состоятельности
???? (|ˆ
???? − ????| ≤ ????) −−−→
????→∞
1
Эти два условия возможно не выводились на лекциях, поэтому в работах лучше прописывать,
что использовалось неравенство Чебышева. Но во многих случаях удобнее использовать их,
чем полностью считать вероятность. Также следует обратить внимание, что это условия доста- точности, то есть возможны ситуации, когда оценка является состоятельной, но эти условия не
3

выполняются.
Рассмотрим выборочное среднее. Его математическое ожидание уже считалось выше, когда доказывалась его несмещенность. И, что понятно, выборочное среднее является и ассимптоти- чески несмещенным, то есть выполняется первое условие. Посчитаем еще дисперсию:
???? ¯
???? = ????
(︃
1
????
????
∑︁
????=1
????
????
)︃
=
1
????
2
????
∑︁
????=1
????????
????
=
1
????
2
????????????
1
=
????
2
????
−−−→
????→∞
0
(Здесь использовалось то, что все величины в выборке независимы и имеют одинаковую дис- персию)
Значит, так как выполнились оба условия, то выборочное среднее является состоятельной оцен- кой. Также можно было просто воспользоваться законом больших чисел, но для этого его надо было вспомнить.
4. Сильная состоятельность
Оценка ˆ???? называется сильно состоятельной, если она сходится почти наверное к ????.
ˆ
????
п.н.
−−−→
????→∞
????
Если вспомнить определение сходимости почти наверное, то
???? (???? : lim
????→∞
ˆ
????(????) = ????(????)) = 1
Это свойство используется очень редко, даже можно сказать, что никогда, поэтому про него стоит немножко помнить и не использовать.
5. Эффективность
Оценка ˆ???? называется эффективной, если она несмещенная и ее дисперсия является наимень- шей среди всех несмещенных оценок для этого параметра ????.
В основном на практике используются два свойства – несмещенность и состоятельность. Про остальные нужно просто не забывать, что это такое. И, собственно, если оценка является несме- щенной и состоятельной, то это говорит о том, что эта оценка является достаточно хорошей.
Но как вообще придумывают оценки? Как придумать такую функцию, да еще чтобы выпол- нялись какие-то полезные свойства? Для этого существуют два известных метода.
Методы нахождения и построения оценок
1. Метод моментов
Рассморим начальные моменты ????
????
= ????????
????
, ???? = 1, ????
, где ???? – количество параметров, которые нужно оценить. ???? здесь – это случайная величина, порождающая выборку, то есть величи- на, у которой распределение такое же, как у всех случайных величин выборки. Понятно, что эти моменты будут зависеть от неизвестных ????
????
. А теперь приравняем каждый момент соответ- ствующему ему начальному выборочному моменту, которые равны ˆ????
????
=
1
????
????
∑︀
????=1
????
????
????
. И получим следующую систему:
⎧
⎪
⎪
⎨
⎪
⎪
⎩
????
1
= ˆ
????
1
????
????
= ˆ
????
????
4

Если система решается и решается однозначно, то ее решение будет являться оценками пара- метров ????
1
, . . . , ????
????
И рассмотрим пример, как это используется. Пусть есть выборка из n случайных величин, кото- рые имеют нормальное распределение с неивестными параметрами ???? и ????: ????
1
, . . . , ????
????
∼ ???? (????
1
, ????
2 2
)
Тогда составим систему для того, чтобы оценить ????
1
и ????
2
⎧
⎪
⎪
⎪
⎪
⎨
⎪
⎪
⎪
⎪
⎩
???????? =
1
????
????
∑︁
????=1
????
????
????????
2
=
1
????
????
∑︁
????=1
????
2
????
???????? = ????
1
из условия, также из условия известно ???????? = ????
2 2
. Тогда можно сказать, чему равно
????????
2
из определения дисперсии. Так как ???????? = ????????
2
− (????????)
2
, то ????????
2
= ???????? + (????????)
2
= ????
2 2
+ ????
2 1
А также известно, чему равен первый выборочный момент – это выборочное среднее. Запишем все это в систему:
⎧
⎪
⎨
⎪
⎩
????
1
= ¯
????
????
2 2
+ ????
2 1
=
1
????
????
∑︁
????=1
????
2
????
⇒
⎧
⎪
⎨
⎪
⎩
????
1
= ¯
????
????
2 2
=
1
????
????
∑︁
????=1
????
2
????
− ¯
????
2
Это и есть полученные оценки:
⎧
⎪
⎨
⎪
⎩
ˆ
????
1
= ¯
????
ˆ
????
2 2
=
1
????
????
∑︁
????=1
????
2
????
− ¯
????
2 2. Метод максимального правдоподобия
Введем функцию правдоподобия
????(????
1
, . . . , ????
????
, ????
1
, . . . , ????
????
) =
⎧
⎪
⎪
⎪
⎪
⎨
⎪
⎪
⎪
⎪
⎩
????
∏︁
????=1
???? (????
????
, ????
1
, . . . , ????
????
),
если распределение непрерывное
????
∏︁
????=1
???? (???? = ????
????
, ????
1
, . . . , ????
????
),
если распределение дискретное
Оценкой максимального правдоподобия называется максимум этой функции, то есть
ˆ
???? =
argmax
????∈R
????
????(????
1
, . . . , ????
????
, ????)
, где ???? = (????
1
, . . . , ????
????
)
????
Так как функция правдоподобия и логарифмическая функция правдоподобия (ln ????(????
1
, . . . , ????
????
, ????)
)
имеют одинаковые точки максимума, то часто удобно использовать именно логарифмическую функцию правдоподобия. И тогда оценки можно найти, продифференцировав функцию отно- сительно каждого оцениваемого параметра:
⎧
⎪
⎪
⎪
⎪
⎪
⎨
⎪
⎪
⎪
⎪
⎪
⎩
???? ln ????(????
1
, . . . , ????
????
, ????)
????????
1
= 0
???? ln ????(????
1
, . . . , ????
????
, ????)
????????
????
= 0
Если решить эту систему, получатся оценки максимального правдоподобия.
Приведу пример с геометрическим распределением. Пусть есть выборка ????
1
, . . . , ????
????
, имеющая геометрическое распределение с параметром ???? – ????(????). Вероятность геометрического распреде- ления считается так: ???? (???? = ????) = (1 − ????)
????−1
????
, где ???? – параметр распределения. Тогда функция правдоподобия принимает следующий вид:
????(????
1
, . . . , ????
????
, ????) =
????
∏︀
????=1
???? (???? = ????
????
, ????) =
????
∏︀
????=1
(1 − ????)
????
????
−1
· ???? = ????
????
????
∏︀
????=1
(1 − ????)
????
????
1 − ????
=
????
????
(1 − ????)
????
????
∏︀
????=1
(1 − ????)
????
????
=
5

=
????
????
(1 − ????)
????
(1 − ????)
????
∑︀
????=1
????
????
Посчитаем логарифмическую функцию правдоподобия:
ln ????(????
1
, . . . , ????
????
, ????) = ln
(︃
????
????
(1 − ????)
????
(1 − ????)
????
∑︀
????=1
????
????
)︃
= ???? ln ???? − ???? ln(1 − ????) +
????
∑︀
????=1
????
????
ln(1 − ????)
И продифференцируем для того, чтобы найти точку максимума:
???? ln ????(????
1
, . . . , ????
????
, ????)
????????
=
????
????
+
????
1 − ????
−
????
∑︀
????=1
????
????
·
1 1 − ????
= 0
???? +
????????
1 − ????
−
????
∑︀
????=1
????
????
·
????
1 − ????
= 0
????(1 − ????) + ???????? −
????
∑︀
????=1
????
????
???? = 0
???? =
????
????
∑︀
????=1
????
????
=
1
¯
????
ˆ
???? =
1
¯
????
Таким образом, получили уже известный факт о геометрическом распределении, что его мате- матическое ожидание равно
1
????
, если ???? – параметр.
Доверительные интервалы
Точечные оценки – это хорошо, но в большинстве случаев, если мы попытаемся посчитать ве- роятность, с которой оцениваемый параметр будет равен оценке, получится, что это
1
∞
= 0
,
потому что есть бесконечное количество значений, которые может принять параметр.
Для того, чтобы все же узнать более вероятное значение, которое примет параметр, существу- ют доверительные интервалы. Это интервал, в который оцениваемый параметр попадает с вероятностью, равной 1 − ????. Границами такого интервала будут случайные величины, а ве- роятность 1 − ???? называется уровнем доверия или доверительной вероятностью.
???? (????
1
(????
1
, . . . , ????
????
) < ???? < ????
2
(????
1
, . . . , ????
????
)) = 1 − ????
????
1
и ????
2
– это статистики – случаные функции выборки.
Существует также понятие центральной статистики, которая применяется для построе- ния доверительных интервалов. Это такая функция ????(????
1
, . . . , ????
????
, ????)
, которая является непра- рывной и монотонной, а также ее распределение ????
????
(????)
не зависит от ????. Тогда вероятность принимает следующий вид:
???? (????
1
< ????(????
1
, . . . , ????
????
, ????) < ????
2
) = 1 − ????
И если решить это неравенство, оставляя в центре ???? и убирая все остальное в края, то получится как раз доверительный интервал для ???? с уровнем доверия 1 − ????. ????
1
и ????
2
– это некоторые числа,
которые мы хотим пододбрать так, чтобы интервал был как можно меньше. Сейчас пойдут примеры для нормального распределения, и станет немного понятнее.
Но для начала еще упомянем теорему Фишера. По ней, если есть какая-то выборка ????
1
, . . . , ????
????
,
все элементы которой имеют нормальное распределение ????(????, ????
2
)
, то:
1. среднее выборочное ¯
???? ∼ ???? (????,
????
2
????
)
или
( ¯
???? − ????)
√
????
????
∼ ???? (0, 1)
6

2.
????????
2
????
2
∼ ????
2
????−1
(????
2
– смещенная выборочная дисперсия)
3. ¯
????
и ????
2
независимы
4.
( ¯
???? − ????)
√
???? − 1
√
????
2
∼ ????(???? − 1)
Итак, переходим к конкретным распределениям.
Доверительные интервалы для выборки из нормального распределения
1. Пусть есть выборка ????
1
, . . . , ????
????
∼ ???? (????
1
, ????
2
)
с неизвестным параметром ????
1
, который мы хотим оценить с помощью доверительного интервала с уровнем надежности 1 − ????.
Из теоремы Фишера известно, что случайная величина
( ¯
???? − ????
1
)
√
????
????
∼ ???? (0, 1)
, а стандартное нормальное распределение не зависит от ????
1
. И также известно, что функция
????(????
1
, . . . , ????
????
, ????) =
( ¯
???? − ????
1
)
√
????
????
непрерывна и монотонна. Значит, она является центральной статистикой. Тогда подберем ????
1
, ????
2
так, чтобы доверительный интервал оказался минимальной длины:
???? (????
1
<
( ¯
???? − ????
1
)
√
????
????
< ????
2
) = 1 − ????
Так как нормальное распределение симметрично относительно оси ???????? , то логично, что ин- тервал наименьшей длины тоже должен быть симметричен. И так как есть ограничение по вероятности – она должна быть равна 1 − ????, то можно точно утверждать, что границами ин- тервала наименьшей длины будут квантили стандартного нормального распределения
????
1
= ????
????/2
= −????
1−????/2
(так как распределение симметрично) и ????
2
= ????
1−????/2
. И тогда, подставив эти квантили, получаем:
???? (−????
1−????/2
<
( ¯
???? − ????
1
)
√
????
????
< ????
1−????/2
) = 1 − ????
???? (−
????????
1−????/2
√
????
− ¯
???? < −????
1
<
????????
1−????/2
√
????
− ¯
????) = 1 − ????
???? ( ¯
???? −
????????
1−????/2
√
????
< ????
1
< ¯
???? +
????????
1−????/2
√
????
) = 1 − ????
Таким образом, получился доверительный интервал для ????
1
: ( ¯
???? −
????????
1−????/2
√
????
; ¯
???? +
????????
1−????/2
√
????
)
2. Пусть есть выборка ????
1
, . . . , ????
????
∼ ???? (????, ????
2 2
)
с неизвестным параметром ????
2 2
, который мы хо- тим оценить с помощью доверительного интервала с уровнем надежности 1 − ????.
????
????
∼ ???? (????, ????
2 2
) ⇒
????
????
− ????
????
2
∼ ???? (0, 1)
. По определению распределения хи-квадрат получаем, что
????
∑︀
????=1
(︂ ????
????
− ????
????
2
)︂
2
∼ ????
2
(????)
. То есть распределение не зависит от ????
2
, а сама функция непрерывна и монотонна. Значит, это подходящая нам центральная статистика. Так же, как и в первом случае, возьмем границами соответствующие квантили:
????
(︃
????
2
????,????/2
<
????
∑︁
????=1
(︂ ????
????
− ????
????
2
)︂
2
< ????
2
????,1−????/2
)︃
= 1 − ????
????
⎛
⎜
⎜
⎝
????
2
????,????/2
????
∑︀
????=1
(????
????
− ????)
2
<
1
????
2 2
<
????
2
????,1−????/2
????
∑︀
????=1
(????
????
− ????)
2
⎞
⎟
⎟
⎠
= 1 − ????
7