ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 06.04.2021
Просмотров: 983
Скачиваний: 1
66
D X
D
n
X
n
D X
n
n
i
i
n
i
i
n
[ ]
[
]
1
1
1
1
2
1
2
2
2
Отсюда получаем, что
X
- несмещѐнная оценка m. Так как
D[
X
]
0, при n
, то в силу теоремы 2.1
X
является
состоятельной оценкой математического ожидания m
генеральной совокупности.
2.3. Оптимальные оценки. Теорема об оптимальности
оценок
Пусть требуется оценить параметрическую функцию
=
(
) в модели
F
={F(x;
),
} по статистической
информации, доставляемой выборкой
X
=(X
1
,...,X
n
). Пусть
статистика Т=Т(
X
) удовлетворяет условию (2.3). Класс
несмещѐнных оценок обозначим
T
. Таким образом, T
T
тогда и только тогда, когда выполнено условие (2.3).
Дополнительно предположим, что дисперсии всех оценок из
класса
T
конечны:
D T] M
T
[
[(
( )) ]
2
для любых T
T
и
.
В этом случае точность оценок можно измерять
величиной их дисперсии и мы получаем простой критерий
сравнения различных оценок из класса
T
. Если
D T
D T],
[ ]
[
(2.4)
то по критерию минимума дисперсии оценка Т
*
равномерно
(по параметру
) не хуже оценки Т; если же в (2.4) строгое
неравенство выполняется хотя бы при одном
, то следует
отдать предпочтение Т, как более точной оценке. Если условие
(2.4) выполняется для любой оценки T
T
, то Т
*
называют
несмещѐнной оценкой с равномерно минимальной
дисперсией
. Такую оценку для краткости называют
67
оптимальной
, и обозначают
*
, так как она относится к
функции
(
).
Итак, оптимальной является оценка
*
T
, для которой
выполняется условие
D
*
=
inf
T
D T
,
Требование равномерной минимальной дисперсии
сильное и не всегда имеет место. Однако оно выделяет
оптимальную оценку в классе
T
однозначно, если такая
оценка существует, о чѐм свидетельствует следующая теорема.
Теорема 2.2. Пусть Т
i
=Т
i
(
X
), i=1,2 - две оптимальные
оценки для
=
(
). Тогда Т
1
=Т
2
.
Доказательство: Рассмотрим новую оценку Т
3
=(Т
1
+Т
2
)/2.
Ясно, что Т
3
T
и
D
T
3
=(D
T
1
+D
T
2
+2cov
(T
1
,T
2
))/4 (*)
Для любых случайных величин
1
,
2
имеет место неравенство
Kоши-Буняковского
cov( ,
)
1
2
1
2
D D
,
причѐм знак равенства имеет место, если
1
и
2
линейно
связаны. Отсюда и из равенства (*), положив
D
T
1
=D
T
2
=
=
(
),
получим
D
T
3
(
+
cov
( T
1
,T
2
)
)/2
(**)
Поскольку Т
i
(i=1,2) оптимальные оценки,
= D
T
i
D
T
3
,
откуда D
T
3
=
, т.е. Т
3
также оптимальная оценка.
Но так как в неравенствах (**) имеют место знаки равенства,
то cov ( T
1
,T
2
)
0 и более того, cov
( T
1
,T
2
)= D
T
1
=D
T
2
=
.
Следовательно Т
1
и Т
2
линейно связаны, т.е. Т
1
=kT
2
+a.
Из условия несмещѐнности оценок имеем
=k
+a; т.е.
a=
(1-k), и, следовательно,
Т
1
-
=k(T
2
-
).
Коэффициент k=k(
) является функцией от параметра
и
определяется цепочкой равенств
68
= cov
( T
1
,T
2
)=M
[( Т
1
-
)( Т
2
-
)]=k M
[( Т
1
-
)
2
]=k D
T
2
=k
Отсюда имеем к
1 и, следовательно, Т
1
=Т
2
.▓
2.4. Критерии оптимальности оценок,
основанные на неравенстве Рао-Крамера
Понятия функции правдоподобия, вклада выборки,
функции информации.
Рассмотрим что такое функция правдоподобия. Пусть
f(x,
) - плотность распределения случайной величины
(или
вероятность в дискретном случае),
X
=(X
1
,...,X
n
) – выборка из
L
(
)
F
и
x
=(x
1
,...,x
n
)
– реализация
X
. Функция
L
(
x
,
)=f(x
1
,...,x
n
;
) является плотностью распределения
случайного вектора
X
. Функция
L
(
x
,
), рассматриваемая при
фиксированном
x
, как функция параметра
, называется
функцией правдоподобия
.
Если элементы выборки независимы, то функция
правдоподобия
L
(
x
,
)=
f x
i
i
n
( ,
1
) [x
i
распределены как и
].
Если имеется выборка (X
1
,...,X
n
) из
, имеющей
дискретное
распределение
P(
=x
i
)=p
i
,
то
функцией
правдоподобия
называется
вероятность
того,
что
L
(
x
,
)=P(X
1
=x
1
,..., X
n
=x
n
;
), рассматриваемая как функция
параметра
L
(
x
,
)=
P
i
n
1
(X
i
=x
i
;
)=
P
i
n
1
(
=x
i
,
)
для независимых случайных величин.
Функция правдоподобия показывает на сколько при
фиксированных значениях выборки правдоподобно то или
другое значение параметра.
Рассмотрим основные свойства функции правдоподобия
1.
Функция правдоподобия неотрицательна
L
(
x
,
)>0
69
при всех
x X
и
2.
Условия нормировки
...
L
(
x
,
)d
x
=1, (d
x
=dx
1
...dx
n
) (2.5)
(для дискретных моделей условия нормировки выражаются
через суммы).
Предположим, что функция правдоподобия удовлетворяет
следующим условиям:
1) дифференцируема по параметру
;
2) условие регулярности: порядок дифференцирования по
и
интегрирования по х можно менять.
Модели, для которых выполняются эти условия, называют
регулярными
. Общее необходимое условие состоит в том, что
выборочное пространство
X
не должно зависеть от
неизвестного параметра
.
Пусть параметр
- скалярный. Случайная величина
U X
L(X
f X
i
i
n
( ; )
ln
; )
ln (
; )
1
(2.6)
называется
вкладом
(или функцией вклада) выборки
X
(i-е
слагаемое в правой части (2.6) называется вкладом i-го
наблюдения i=1,...,n). Предполагается, что 0<M
[U
2
(
X
;
)]<
,
для любого
.
Рассмотрим некоторые свойства вклада U(
X
;
) для
регулярных моделей. Дифференцируя условие нормировки
(2.5) по
, получаем
0
L(x
dx
L(x
L(x
dx M U X
; )
ln
; )
; )
[ ( ; )]
Для удобства и краткости записи вместо многомерного
интеграла будем писать одномерный, но иметь в виду
многомерный.
Итак, для регулярной модели
M
[U (
X
;
)]=0,
(2.7)
70
Определим функцию информации Фишера или просто
информацию Фишера о параметре
, содержащуюся в выборке
X
:
i
n
(
)=D
[U(
X
;
)]=M
[U
2
(
X
;
)] (2.8)
Величину:
i(
)=i
1
(
)=
M
f X
ln (
; )
1
2
(2.9)
называют
количеством
(фишеровской)
информации,
содержащейся в одном наблюдении.
Из соотношений (2.6) - (2.9) следует, что i
n
(
)=n i(
), т.е.
количество информации, содержащейся в выборке, возрастает
пропорционально объѐму выборки. Если функция f(x,
)
дважды дифференцируема по
, то продифференцировав при
n=1 выражение (2.7) и применив тот же приѐм, что и ранее, т.е.
умножим и разделим на f(x
1
,
), получим эквивалентное
представление для i(
)
0
2
2
2
ln ( ; )
( ; )
ln ( ; )
( ; )
f X
f X
dx
f X
f X
dx
, т.е
i(
)=
M
f X
2
1
2
ln (
; )
(2.10)
Пример:
Вычислим функцию i(
) для нормальной модели
N(
,
2
). Вклад одного наблюдения
U(X
1
;
)=
ln (
; )
f X
X
1
1
2
,
2
1
2
2
1
ln (
; )
f X
,
отсюда по формуле (2.10) получаем:
i(
)=
1
2
.