ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 06.04.2021
Просмотров: 982
Скачиваний: 1
71
2.5. Неравенство Рао-Крамера и эффективные оценки
Рассмотрим задачу оценивания заданной параметрической
функции
(
) в модели
F
={F(x,
),
}. Пусть модель
F
-
регулярна,
(
) - дифференцируема и
T
- класс всех
несмещенных оценок
(
). Тогда имеет место следующая
теорема.
Теорема 2.3. (Неравенство Рао-Крамера). Для любой
оценки T=T(
X
)
T
справедливо неравенство:
D T
i
n
( )
( )
2
(2.11)
Равенство здесь имеет место тогда и только тогда, когда Т -
линейная функция вклада выборки, т.е.
T(
X
)-
(
)=a(
)U(
X
,
), (2.12)
где а(
) - некоторая функция от
.
Доказательство: По условию теоремы
M
[T(
X
)]=
T x
( )
L
(
x
;
)d
x
=
(
),
.
Модель
F
-
регулярна, поэтому дифференцируя это тождество
по
и учитывая (2.7), получаем
T(x
L(x
L(x
L(x
dx
T(x
L(x
L(x
dx
M T(X U X
M T(X M U X
T(X U X
)
; )
; )
; )
)
ln
; )
; )
) ( ; )
)
( ; )
cov
) ( ; )
.(2.13)
Используя неравенство Коши-Буняковского и формулу (2.8)
для определения фишеровской информации, получаем
(
)
D T(X D U X
)
( ; )
Возведѐм в квадрат:
[
(
)]
2
i
D T(X
n
( )
)
(*)
Отсюда имеем неравенство (2.11).
Неравенство (*) обращается в равенство тогда и только
тогда, когда Т(
X
) и U(
X
;
) линейно связаны.▓
72
Неравенство (2.11) называется
неравенством Рао-
Крамера
. Оно определяет нижнюю границу дисперсии всех
несмещѐнных оценок заданной параметрической функции
(
)
для регуляных моделей.
Если существует оценка T
*
T
, для которой нижняя
граница
Рао-Крамера
достигается,
то
еѐ
называют
эффективной
. Эффективная оценка является оптимальной и
согласно теореме 2.2 она единственна. Из теоремы 2.3 следует,
что критерием эффективности оценки является представление
(2.12). Будем называть этот критерий оптимальности
критерием Рао-Крамера
. Если для оценки Т
*
выполнено
соотношение (2.12), то из формулы (2.13) следует
(
)=
1
a( )
D
[T
*
]
т.е. для дисперсии эффективной оценки справедлива формула
D
[T
*
]=a(
)
(
) (2.14)
Отметим следующее: вклад выборки U(
X
;
) однозначно
определяется моделью, поэтому представление (2.12)
единственно. Следовательно, эффективная оценка может
существовать только для одной параметрической функ-ции
(
) и не существует ни для какой другой функции параметра
, отличной от a
(
)+b, где а и b - константы.
Замечание
.
Если Т=Т(
X
) оценка со смещением b(
) и b(
) -
дифференцируема, то неравенство Рао-Крамера будет иметь
вид:
D
[T]
( )
( )
( )
b
ni
2
,
обобщающее (2.11).
73
2.6. Достаточные статистики. Теорема факторизации
Неймана - Фишера
Рассмотренные ранее критерии имеют ограниченную
применимость по двум причинам:
1) они требуют жѐстких условий регулярности
исходной модели;
2) в лучшем случае позволяют находить оптимальные
оценки для отдельных параметрических функций
(
). Более
эффективным способом построения оптимальных оценок
является использование достаточных статистик.
По определению статистика Т=Т(
X
) называется
достаточной
для модели
F
={F(x,
),
} (или для параметра
), если условная плотность (или вероятность в дискретном
случае)
L
(
x
t;
) случайного вектора
X
=(X
1
,...,X
n
) при условии
T(
X
)=t не зависит от параметра
.
Эквивалентным определением достаточности является
следующее: для любого события A
X
условная вероятность
P
(
X
A
T(
X
)=t) не зависит от
. Это свойство статистики Т
означает, что она содержит всю информацию о параметре
,
имеющуюся в выборке.
Действительно, вероятность любого события, которое
может произойти при фиксированном Т, не зависит от
,
следовательно, оно не может нести дополнительную
информацию о неизвестном параметре. Сама выборка
X
,
очевидно, является достаточной статистикой. Обычно
стремятся найти достаточную статистику наименьшей
размерности, представляющую исходные данные в наиболее
сжатом виде. В этом смысле говорят о
минимальной
достаточной статистике
. Такая статистика важна при
обработке больших массивов статистической информации.
Достаточные статистики находят на основании следующей
теоремы.
Теорема 2.4. (Неймана-Фишера, критерий факторизации).
Для того чтобы статистика Т(
X
) была достаточной для
,
74
необходимо и достаточно, чтобы функция правдоподобия
L(
x
;
) имела вид:
L(
x
;
)=g(T(
x
);
)h(
x
) (2.15)
где g - произвольная функция, которая зависит от параметра
и от выборочных значений
x
через статистику; h-функция
выборки, от параметра
не зависит.
Доказательство
Рассмотрим доказательство теоремы факторизации
Неймана-Фишера для дискретной модели.
Если статистика
T
достаточна при любом
t
из области
значений
)
(
x
T
:
)
(
x
T
t
, то функция
)
;
|
(
t
x
L
не зависит от
и ее можно записать в виде
)
(
)
;
|
(
x
h
t
x
L
.
Пусть
)
,
(
)
)
(
(
t
g
t
x
T
P
и
t
x
T
)
(
, тогда событие
}
)
(
{
}
{
t
x
T
x
X
,
)
(
)
,
(
x
X
P
x
L
=
)
)
(
;
(
t
x
T
x
X
P
=
)
)
(
|
(
)
)
(
(
t
x
T
x
X
P
t
x
T
P
=
)
;
|
(
)
,
(
t
x
L
t
g
=
)
(
)
),
(
(
x
h
x
T
g
,
т.е. выполняется представление (2.15). При получении данного
выражения использовалась формула условной вероятности.
Верно и обратное. Пусть имеется факторизация (2.15).
Тогда при любом
x
, таком что
t
x
T
)
(
:
)
)
(
|
(
)
;
|
(
t
x
T
x
X
P
t
x
L
=
)
)
(
(
)
)
(
;
(
t
x
T
P
t
x
T
x
X
P
. (2.16)
При
X
A
:
)
)
(
;
(
t
x
T
x
X
P
=
})
)
(
:
{
(
t
x
T
x
A
P
=
)
(
)
);
(
(
)
(
,
x
h
x
T
g
t
x
T
A
x
=
t
x
T
A
x
x
h
t
g
)
(
,
)
(
)
;
(
(2.17)
В формуле (2.17) используется свойство: вероятность
пересечения событий равна сумме вероятностей.
При
X
A
все
P
обращаются в нуль на множестве
}
0
)
(
:
{
x
h
x
, исключая эти
x
из рассмотрения и из выражения
75
(2.17), получаем:
t
x
T
x
h
t
g
t
x
T
P
)
(
)
(
)
,
(
)
)
(
(
(2.18).
Подставив (2.17) и (2.18) в выражение (2.16), получим:
)
)
(
|
(
)
;
|
(
t
x
T
x
X
P
t
x
L
=
t
x
T
t
x
T
A
x
x
h
x
h
)
(
)
(
,
)
(
)
(
,
т.е. статистика
)
(
x
T
достаточна, т.к.
)
,
(
x
L
не зависит от
.
Если же
x
таково, что
t
x
T
)
(
, то очевидно, что
0
)
;
|
(
t
x
L
.
Таким образом, в любом случае, при любом
x
:
x
,
условная вероятность
)
;
|
(
t
x
L
не зависит от параметра
.
Доказательство для непрерывной модели аналогично. ▓
Теорема 2.5. Если существует эффективная оценка, то
существует и достаточная статистика.
Доказательство: Если
m
*
эф
=T(X) - эффективная оценка
параметра
, то она удовлетворяет условию Рао-Крамера, т.е.
ln
; )
( )
)
L(X
a
T(X
, т.е.
ln
; )
( )
)
( )
L(X
a
T(X
d
X
L(X
e
e
a
T X
d
X
; )
( )
( )
( )
-
в таком виде представляется функция правдоподобия, а значит
выполняется условие факторизации.
Замечание.
Если эффективная. оценка не существует, то достаточная
статистика может существовать!
Итак, эффективная оценка существует только тогда,
когда имеется достаточная статистика. Но достаточная
статистика
может
существовать
и
при
отсутствии
эффективной оценки, т.е. условие достаточности является