Файл: Е.Н. Грибанов Теория вероятностей и математическая статистика. Методические указания для студентов всех специальностей.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 03.06.2024

Просмотров: 229

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

59

Доказательство. Вычислим

 

1

n

 

1

n

1

n

1

 

 

σ 2

 

D(x)= D

 

∑ Xi =

 

∑D(Xi )=

 

∑σ 2 =

 

nσ 2

=

 

.

 

 

 

n2

n

n i=1

 

n2 i=1

n2 i=1

 

 

 

Запишем неравенство Чебышева для средней арифметической x ,

p{

x −µ

 

<τ}>1−

D(x)

или p{

x −µ

 

<τ}

>1−

σ 2

. При достаточно

 

 

 

 

 

 

 

 

 

τ 2

 

 

 

 

 

 

nτ 2

 

 

 

 

 

большом числе испытаний величина

σ 2

 

 

является числом, близ-

nτ 2

ким к нулю. Поэтому~для сколь угодно малого числа τ

выполня-

ется неравенство p{Θn −Θ

<τ}>1−η,

определяющее

свойство

состоятельности выборочных оценок.

Получение эффективных оценок - сложное дело. Приведём без доказательства важный для практики факт. Если случайная величина Х распределена по нормальному закону с параметрами

(µ,σ 2 ), то несмещённая оценка x математического ожидания µ имеет минимальную дисперсию σ 2 n , поэтому средняя арифме-

тическая x в этом случае является эффективной оценкой математического ожидания µ.

Т.3. Если случайная выборка состоит из п независимых наблюдений над случайной величиной Х с математическим ожида-

нием

 

 

µ и

дисперсией

σ 2, то выборочная дисперсия

S2 =

 

 

n

− x)2

не является несмещённой оценкой генераль-

 

1 ∑(Xi

 

 

 

 

n i=1

 

 

 

 

 

 

 

ной дисперсии.

 

 

 

 

 

 

 

 

 

Доказательство. По условию M (Xi )= µ и D(Xi )=σ 2 тогда

 

 

 

 

1

n

 

 

1

n

 

1

n

S 2 =

 

∑(Xi

− x)2

=

∑((Xi

−µ)−(x −µ))2 =

∑(X i −µ)2 −

 

 

 

 

 

 

 

 

n i =1

 

 

n i =1

 

n i =1

−

2

(x −µ)∑n (X i −µ)+(x −µ)2

 

 

 

 

 

 

 

 

n

 

 

i =1

 

 

 

 

 

 

 

60

 

 

 

n

n

 

2

 

 

 

Упростим выражение (x −µ)∑(Xi

=n(x −µ) ,

−µ)=(x −µ) ∑Xi −nµ

i=1

i=1

 

 

подставив полученное в выражение для эмпирической дисперсии получим

S2 = 1

∑n (Xi

− µ)2 −

2

n(x − µ)2 +(x − µ)2

=

1

 

∑n (Xi − µ)2 −

 

 

 

 

 

 

 

 

 

 

n i=1

 

 

 

 

n

 

 

 

 

 

 

 

 

n i=1

 

 

 

 

 

 

 

 

−(x − µ)2 .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

n

 

 

2

 

 

2

 

 

 

 

 

 

2

 

 

 

 

σ

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Но так как

M

 

∑(Xi −

µ)

 

=σ

 

 

и M

(x − µ)

= D(x)

=

 

n

то

 

 

 

 

M (S

 

)

 

 

n i=1

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

2

 

1

n

 

 

2

 

 

 

2

 

 

2

 

σ

n −1

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

=σ

−

 

=

σ

. То есть

 

= M

 

∑(Xi − µ)

−(x − µ)

 

 

n

n

 

 

 

 

n i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

S 2 является смещённой оценкой дисперсии генеральной совокупности.

Несмещённой оценкой дисперсии генеральной совокупности

является S)2

 

1

n

 

 

 

 

 

=

∑(Xi − x)2 . Обычно эту оценку называют ис-

 

 

 

n −1 i=1

 

n

 

 

правленной

выборочной дисперсией. Дробь

 

называют по-

n −1

 

 

 

 

 

правкой Бесселя. Тогда имеем равенство S)2 =

 

n

 

S2 . При малых

 

n −1

 

 

 

 

 

 

значениях п поправка Бесселя довольно сильно отличается от единицы, с увеличением п она быстро стремится к единице. При

n > 50 практически нет разницы между S 2 и S)2 . Можно показать, что оценки S 2 и S)2 являются состоятельными оценками

σ 2.

состоятельной и эффективной оценкой σ 2

Несмещённой,

является оценка Sx2

=

n

1 ∑(Xi − µ)2 , для вычисления которой не-

 

 

n i=1

обходимо знать математическое ожидание. Заметим, что оценка Sx2 эффективна лишь при условии нормальности распределения случайной величины Х в генеральной совокупности. Оценки S 2 и

61

S)2 не являются эффективными. В том случае, когда значение математического ожидания неизвестно, то для оценки дисперсии σ 2 используют состоятельную и несмещённую оценку S)2 .

41. Метод максимального правдоподобия Основным способом получения оценок параметров гене-

ральной совокупности по данным выборке является метод максимального правдоподобия. Основная идея метода заключается в следующем.

Пусть X1 , X2 ,K, Xn - результаты независимых наблюдений

над случайной величиной Х, которая может быть как дискретной, так и непрерывной; f (X ,Θ)- вероятность значения (если случай-

ная величина дискретна) и плотность вероятности (если случайная величина непрерывна). Функция f (X ,Θ) зависит от неизвестного

параметра Θ , который требуется оценить по выборке.

Если X1 , X2 ,K, Xn - независимые случайные величины, то

функцией правдоподобия называется выражение L = f (X1 ,Θ)f (X2 ,Θ)K f (Xn ,Θ). В качестве оценки неизвестного параметраΘ берется такое значение Θ , при подстановке которого вместо параметра Θ получаем максимальное значение функ-

ции L. Оценку Θ обычно называют оценкой максимального прав-

доподобия. Оценка Θ зависит от количества и числовых значений случайных величин Xi , следовательно, сама является случайной

величиной.

При максимизации функции L подразумевается, что значения X1 , X2 ,K, Xn фиксированы, а переменной является параметр

Θ (иными словами, максимум отыскивается в предположении, что Xi заменены их числовыми значениями). Если Lдифферен-

цируема относительно параметра Θ , то для отыскания максимума надо решить уравнение ∂∂ΘL = 0 . В качестве оценки Θ выбрать решение, которое обращает функцию L в максимум. Иногда удобно рассматривать уравнение ∂∂lnΘL = 0.

Согласно методу максимального правдоподобия для нормально распределенной генеральной совокупности в качестве

62

оценок математического ожидания и дисперсии нужно брать соответственно среднюю арифметическую и эмпирическую дисперсию S 2 .

Пример 40. Найти методом максимального правдоподобия по выборке X1 , X2 ,K, Xn точечную оценку неизвестного параметра

λ

показательного

распределения,

плотность

которого

f (x)= λe−λ x (x ≥ 0).

 

 

 

 

 

 

 

 

 

 

 

 

 

Решение.

Составим

 

функцию

правдоподобия

L = (λe−λX1 )(λe−λX2 )K(λe−λXn )= λne−λ∑ Xi .

Найдём логариф-

мическую функцию правдоподобия ln L = n ln λ −λ∑ Xi

. Найдём

первую производную по λ

∂ln L

= n −

∑ Xi . Отсюда λ =

 

 

1

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

∂λ

 

λ

 

 

 

 

∑ Xi

 

 

 

 

 

∂2 ln L

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

n

 

 

 

 

 

 

 

или

λ =

 

. Так как

∂λ2

 

= −

 

= −n(x)2 < 0

в силу положи-

x

 

λ2

тельности Xi то оценкой метода максимального правдоподобия

параметра λ является величина, обратная среднему арифметическому.

42. Метод наименьших квадратов Изложенный ранее метод максимального правдоподобия все-

гда приводит к состоятельным оценкам, хотя иногда смещённым. Известно, что этот метод использует наилучшим образом всю информацию о неизвестном параметре, содержащуюся в выборке. Однако часто его применение связано с необходимостью решения сложных систем уравнений.

Другим способом, имеющим большое практическое применение в задачах оценивания неизвестных параметров генеральной совокупности по выборке и часто приводящим к более простым выкладкам, является метод наименьших квадратов.

Пусть, как и прежде, Х- случайная величина (дискретная или непрерывная) с законом распределения f (X ,Θ), (где Θ - неиз-

вестный параметр генеральной совокупности, который нужно оценить по выборке). X1 , X2 ,K, Xn - независимые наблюдения,

Θ - оценка параметра Θ , зависящая от количества наблюдений и их числовых значений.

Смотрите также файлы