ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 06.04.2021
Просмотров: 986
Скачиваний: 1
91
3. Инвариантность.
Полезным
свойством
оценок
максимального
правдоподобия
(МП)
является
их
инвариантность
относительно преобразований параметра.
При решении уравнений правдоподобия относительно
параметра
оказывается, что их проще решать относительно
функций от него, например,
ln ,
1
и т.д. Обозначим эту
функцию через
и допустим, что
)
(
t
– взаимно
однозначная дифференцируемая функция, т.е.
d
d
0
. Тогда,
если через
и
обозначить оценки максимального
правдоподобия параметров
и
, то
)
(
t
.
Доказательство. Действительно, для регулярной модели
функция правдоподобия относительно
записывается так:
))
(
(
)
(
t
=
)
(
L
,
откуда
d
d
d
dL
d
d
.
Оценка
максимального правдоподобия определяется как корень
уравнения
0
d
d
. Но
0
d
d
d
dL
при
, т.е. когда
)
(
t
. Поскольку по условию
0
d
d
, то последнее
уравнение эквивалентно
0
d
dL
, откуда следует, что
)
(
t
▓.
92
3.3. Теорема об асимптотической нормальности и
эффективности оценок максимального правдоподобия
1. Оценка максимального правдоподобия
m
*
является
состоятельной оценкой параметра
; т.е.
m
*
P
n
.
2. При определѐнных условиях оценка максимального
правдоподобия является асимптотически нормальной и
эффективной.
Теорема 3.3.
Пусть функция правдоподобия
L
(x;
)
а) дважды дифференцируема по параметру
и
б) математическое ожидание от функции вклада равно
нулю M[U(X;
)=0],
в) кроме того -M
2
2
2
0
ln
, )
( )
( )
L(X
i
R
n
.
Тогда оценка максимального правдоподобия стремится к
случайной величине
m
n
*
~N
0
1
0
;
( )
R
(дисперсия совпадает с дисперсией эффективной оценки).
Здесь
0
- истинное значение оцениваемого параметра.
Доказательство:
Доказательство
свойства
асимптотической
нормальности
оценки
МП
(если
рассматривать скалярный параметр) основывается на
разложении функции вклада U
n
(
)=U
n
(
X
;
) в ряд Маклорена
относительно истинного значения параметра
0
.
Поскольку
m
*
состоятельная оценка параметра
, то при
достаточно большом объѐме выборки (n>>1), она будет близка
к истинному значению
0
. Поэтому функция вклада может
быть представлена в виде ряда Маклорена в окрестности точки
0
.
93
ln
; )
ln
; )
(
)
ln
; )
*
*
~
L(X
L(X
L(X
m
m
0
0
2
2
,
где
~
(
m
*
;
0
)
В силу состоятельности оценки и условий теоремы первая
дробь равна 0. Поэтому
(
)
ln
; )
ln
; )
*
~
m
L(X
L(X
0
2
2
0
.
Левую и правую часть умножим на R(
0
)
R
R
L(X
R
L(X
m
( )(
)
( )
ln
; )
( )
ln
; )
*
~
0
0
0
2
0
2
2
1
1
0
.
Вклад выборки определяется по формуле
U(X;
)=
ln
; )
L(X
=
ln (
; )
f X
i
i
n
1
.
Рассмотрим знаменатель дроби:
1
1
2
0
2
2
2
0
2
2
1
R
L(X
R
f X
i
i
n
( )
ln
; )
( )
ln (
; )
~
~
в силу закона больших чисел, если элементы выборки
независимы
1
)
(
)
(
)
;
(
ln
)
(
1
)
;
(
ln
)
(
1
0
2
0
2
~
2
2
0
2
~
1
2
2
0
2
R
R
X
L
M
R
X
f
M
R
n
i
i
n
в виду состоятельности оценки.
Таким образом, знаменатель дроби стремится к 1.
Рассмотрим числитель дроби.
94
К случайной величине
1
1
0
0
1
0
0
R
L(X
R
f X
i
i
n
( )
ln
; )
( )
ln (
; )
применима центральная предельная теорема, по которой и с
учѐтом соотношений:
M
L(X
ln
; )
0
,
i(
)=
M
f X
ln ( ; )
2
при n
R(
0
)(
m
*
-
0
)
~N(0,1).
Сама оценка
m
*
1
0
R( )
=
, так как
– линейная функция
.▓
3.4. Метод моментов. Теоремы о свойствах оценок,
полученных методом моментов
Исторически первым методом точечного оценивания
неизвестных
параметров
является
метод
моментов
,
предложенный К. Пирсоном в 1894 году.
Суть метода в следующем. Пусть
X
=(X
1
,...,X
n
) –
выборка из распределения
L
(
)
F
={F(x;
);
}, где
=(
1
,...,
r
) и
R
r
. Предположим, что у наблюдаемой
случайной величины.
существуют первые r моментов
k
=M
k
, k=1,...,r. Они являются функциями от неизвестных
параметров
:
k
=
k
(
). Рассмотрим соответствующие
выборочные моменты A
nk
(
X
).
Пусть
k
=A
nk
(
x
) – значения этих величин для
наблюдавшейся реализации
x
выборки
X
. Тогда метод
моментов состоит в приравнивании значений
k
и
теоретических моментов:
95
k
(
)=
k
, k=1,...,r (3.1)
Решая эти уравнения относительно
1
,...,
r
, получаем значения
оценок параметров.
Замечания.
1). Число уравнений в системе (3.1) должно совпадать с
числом неизвестных параметров.
2). В системе уравнений (3.1) могут одновременно
присутствовать уравнения как для начальных, так и для
центральных моментов.
Рассмотрим теоретическое обоснование этого метода:
Теорема 3.4. Известно, что выборочные моменты A
nk
(
X
)
являются несмещѐнными и состоятельными оценками
теоретических моментов
k
(
).
Доказательство: Проверим выполнение достаточного
условия состоятельности:
M A
X
n
MX
nk
i
k
i
n
k
( )
1
1
D A
X
n
DX
n
MX
MX
n
nk
i
k
i
n
i
k
i
k
i
n
k
k
( )
(
)
1
1
0
2
1
2
2
2
1
2
2
,
n
, т.е. условие состоятельности выполнено.
Теорема 3.5. Если существует взаимно однозначное и
взаимно непрерывное соответствие между параметрами
1
,...,
r
и начальными моментами
1
,...,
r
, т.е. существуют
непрерывные функции
1
,...,
r
такие, что
i
=
i
(
1
,...,
r
),
i=1,...,r.Тогда решения уравнений (31) можно записать в виде
~
( )
( ,..., ),
,
i
i
r
x
a
a
i
r
1
1
,,
а
оценки
~
( )
(
( ),...,
( ))
i
i
n
nr
X
A
X
A
X
1
являются
состоятельными
оценками соответствующих параметров.
Доказательство: В силу теоремы Слуцкого оценки метода
моментов будут сходиться по вероятности к оцениваемому
параметру при n
, т.е. статистики
~
( )
i
X
являются
состоятельными оценками
i
,i=1,...,r.▓