ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 10.11.2024
Просмотров: 606
Скачиваний: 1
Смещение же можно оценить с помощью бутстрапа:
B
Bias = E [bb ] b = B1 X bb :b
b=1
Таким образом, скорректированная статистика есть
= B |
B |
b ! |
= 2 : |
|||
1 |
||||||
e b |
Xb |
b b |
b b |
|||
=1 |
||||||
5Тестирование гипотез при помощи бутстрапа
Одной из основных целей бутстрапа является тестирование гипотез. Рассмотрим,
как с помощью бутстрапа тестируются простейшие статистические гипотезы. Пусть нулевая гипотеза имеет вид H0 : = 0, где – скаляр.
Альтернативная гипотеза односторонняя: Ha : > 0: Бутстрапим t- процентную статистику
b= b se(b)
и получаем бутстраповское распределение этой статистики и соответствующий квантиль:
( b |
se( ) ) |
B |
) 1 |
||||||
b=1 |
|||||||||
b |
b b |
||||||||
= |
b |
q : |
|||||||
H |
b |
b0 |
> q |
: |
|||||
Гипотеза |
0 отвергается, если |
bse( ) |
1 |
||||||
b |
|||||||||
Альтернативная гипотеза двусторонняя: Ha : 6= 0: В этом случае мы бутстрапим симметричную t-процентную статистику
b= jb j: se(b)
Получаем бутстраповское распределение и квантиль:
( b |
se( ) |
) |
B |
) 1 |
||||||||||
b=1 |
||||||||||||||
b |
b b |
|||||||||||||
= |
j |
b |
j |
q : |
||||||||||
H |
b |
b |
0 |
j > q |
: |
|||||||||
Гипотеза |
0 |
отвергается, если |
jbse( ) |
1 |
||||||||||
b |
||||||||||||||
23
Пусть нулевая гипотеза имеет вид H0 : = 0, где – вектор. В этом случае мы бутстрапим Вальдовскую статистику (с точностью до коэффициента пропорциональности)
= ( )0V 1( ):
Соответственно, получаем бутстраповское распределение и квантиль: |
|||||||||||||||
b |
b |
b |
b |
||||||||||||
n b = ( b )0V 1( b |
B |
||||||||||||||
)ob=1 |
) q1 : |
||||||||||||||
H |
b |
b |
0 b b |
b0 |
b1 |
( |
0 |
) > q |
: |
||||||
Гипотеза |
0 |
отвергается, если |
= ( |
)0V |
|||||||||||
1 |
|||||||||||||||
Пусть теперь нулевая гипотеза имеет вид линейных ограничений на коэффициенты |
|||
b |
b |
b |
b |
H0 : R = r, где R – матрица ограничений. В этом случае мы снова бутстрапим Вальдовскую статистику (с точностью до коэффициента пропорциональности)
b= (Rb r)0(RVb R0) 1(Rb r):
Получаем бутстраповское распределение, из которого находим соответствующий квантиль:
n b = ( b )0R0 |
B |
|||
(RV R0) 1R( b )ob=1 |
) q1 : |
|||
рецентрируем бутстраповскую статистику. Без этого бутстрапов- |
||||
Заметим, что мы b |
b b |
b |
b b |
|
ское распределение унаследовало бы смещение, свойственное первоначальной статистике. Гипотеза H0 отвергается, если b= (Rb r)0(RVb R0) 1(Rb r) > q1 :
6Асимптотическое рафинирование
Иногда говорят, что с помощью бутстрапа достигается асимптотическое рафинирование. В этой главе мы обсудим, что такое асимптотическое рафинирование и в каких случаях оно имеет место.
Обозначим бутстраповское распределение
Пусть у нас есть некоторая статистика , истинное распределение которой F (x). этой статистики через F (x). Говорят, что
b
b
b
с помощью бутстрапа достигается асимптотическое рафинирование, если ошибка ап-
проксимации истинного распределения F (x) бутстраповским F (x) – большего поаппроксимации асимптотическим распределением при
b
b
рядка малости, чем ошибка стремлении объема выборки к бесконечности.
Приведем примеры, использующие разложение Эджворта функции распределения статистики вокруг предельного распределения.
Пример 1: асимптотически пивотальная t-статистика. Пусть бутстрапируемая
нами статистика есть
b= b : se(b)
24
Ее асимптотическое распределение, как мы уже видели, является стандартным нор-
d |
||||
мальным: ! N(0; 1) (т.е. статистика асимптотически пивотальная). Обозначим |
||||
точное |
b |
|||
распределение статистики через F |
(x), а бутстраповское – через F (x). Для |
|||
кумулятивной функции стандартного |
нормального распределения используем обыч- |
|||
b |
b |
|||
ное обозначение (x).
Итак, разложим истинное и бутстраповское распределения вокруг асимптотиче-
ского: |
1(pn |
) |
+ |
h |
2(n |
) |
+ O |
n3=2 |
; |
|||||||||
F (x) = (x) + |
||||||||||||||||||
h |
x; F |
x; F |
1 |
|||||||||||||||
b |
||||||||||||||||||
n3=2 |
||||||||||||||||||
h |
1 |
(pn |
) |
2 |
(n |
) |
||||||||||||
F (x) = (x) + |
+ |
+ O |
: |
|||||||||||||||
x; F |
h |
x; F |
1 |
|||||||||||||||
b |
b |
b |
||||||||||||||||
Здесь h1(x; F ) – четная по x, непрерывная по F функция, h2(x; F ) – нечетная по x, непрерывная по F функция. Ошибки аппроксимации точного распределения асим-
птотическим и бутстраповским, соответственно, равны |
||||||||||||||||||||||||||||||||
h |
x; F |
1 |
1 |
|||||||||||||||||||||||||||||
(x) F (x) = |
1(p |
) |
+ O |
p |
= O |
p |
; |
|||||||||||||||||||||||||
n |
n |
n |
||||||||||||||||||||||||||||||
b |
||||||||||||||||||||||||||||||||
h |
1( |
x; F |
h |
( |
x; F |
1 |
1 |
|||||||||||||||||||||||||
F (x) F (x) = |
b |
)pn 1 |
) |
+ O |
= O |
: |
||||||||||||||||||||||||||
n |
n |
|||||||||||||||||||||||||||||||
b |
b |
|||||||||||||||||||||||||||||||
Здесь мы воспользовались тем фактом, что разность h1(x; F ) |
h1(x; F ) имеет асим- |
|||||||||||||||||||||||||||||||
птотику |
p1n |
, поскольку |
b |
|||||||||||||||||||||||||||||
1 |
n |
|||||||||||||||||||||||||||||||
pn |
F (x) F (x) |
= |
pn |
1[xi x] E [1[xi x]]! |
||||||||||||||||||||||||||||
n |
||||||||||||||||||||||||||||||||
i=1 |
||||||||||||||||||||||||||||||||
bd |
xgP fxi |
X |
||||||||||||||||||||||||||||||
! N(0; P fxi |
> xg): |
|||||||||||||||||||||||||||||||
Таким образом, в данном примере использование бутстрапа приводит к асимпто-
тическому рафинированию.
Пример 2: асимптотически непивотальная статистика. Рассмотрим статисти-
ку |
p |
||
d |
|||
= n( ) ! N(0; V ): |
|||
Сохранив обозначение |
кумулятивных функций распределения для точного распре- |
||
b |
b |
||
деления и бутстраповского из предыдущего примера, обозначим асимптотическое распределение через (x; V ). Заметим, что теперь наша статистика асимптотически непивотальная, т.е. ее асимптотическое распределение зависит от неизвестного параметра, в данном случае V . Как в предыдущем примере, разложим точное и бутстраповское распределения вокруг асимптотического:
F |
(x) = (x; V ) + |
1 |
(pn |
) + O |
n |
; |
h |
x; F |
1 |
b
25
F (x) = (x; V ) + |
1 |
(pn |
) |
+ O |
n |
: |
||
h |
x; F |
1 |
||||||
b |
b |
|||||||
Ошибки аппроксимации для асимптотического и бутстраповского распределений счи-
таются аналогично предыдущему примеру: |
) + O |
n |
= O pn |
||||||||||||||||||
(x; V ) F |
(x) = |
h |
1(pn |
; |
|||||||||||||||||
z; F |
1 |
1 |
|||||||||||||||||||
b |
|||||||||||||||||||||
n |
pn |
||||||||||||||||||||
F (x) F (x) = (x; V ) (x; V ) + O |
= O |
: |
|||||||||||||||||||
1 |
1 |
||||||||||||||||||||
b |
b |
b |
b |
||||||||||||||||||
Как видно, в данном случае использование бутстрапа не приводит к асимптотическому рафинированию. Вообще, как правило, бутстрапирование асимптотически непивотальных статистик не дает асимптотического рафинирования.
Пример 3: асимптотически пивотальная симметричная t-статистика. Теперь рассмотрим в качестве примера симметричную t-статистику
= |
j j d |
(0; 1) : |
|||
b |
! jN |
j |
|||
se |
) |
||||
b ( |
|||||
Сохраняя обозначения предыдущих примеров, разложим точное и бутстраповское |
|||||||||||||||||||
распределения: |
b |
||||||||||||||||||
F |
(x) = P r x |
x |
= 2 (x) |
1 + |
2h2(x; F ) |
+ O |
1 |
; |
|||||||||||
g |
n |
n3=2 |
|||||||||||||||||
f se( ) |
|||||||||||||||||||
b |
b |
||||||||||||||||||
b |
2h2(x; F ) |
1 |
|||||||||||||||||
F (x) = 2 (x) 1 + |
+ O |
: |
|||||||||||||||||
n |
n3=2 |
||||||||||||||||||
b |
b |
||||||||||||||||||
Таким образом, ошибки аппроксимации для асимптотики и бутстрапа имеют порядки
2 (x) 1 F (x) = O |
n ; |
|||||||||||||
1 |
||||||||||||||
F (x) F (x) = n h2 |
b |
n3=2 |
n3=2 |
|||||||||||
(x; F ) h2(x; F ) + O |
= O |
: |
||||||||||||
2 |
1 |
1 |
||||||||||||
b |
b |
|||||||||||||
Таким образом, мы получаем |
асимптотическое рафинирование. Заметим, что бут- |
|||||||||||||
b |
||||||||||||||
страпирование симметричного двустороннего теста имеет ошибку более высокого порядка, чем бутстрапирование одностороннего теста.
7Построение псевдовыборок при бутстрапе кросс-секций
Рассмотрим случай простейшей множественной регрессии с независимыми наблюдениями:
y = x0 + e; E[ejx] = 0; f(xi; yi)g s iid:
Существует несколько альтернативных способов построения псевдовыборки для этой регрессии:
26
1.Непараметрическое построение псевдовыборки. Из исходных наблюдений f(xi; yi)gni=1 случайно с возвращением извлекаются n наблюдений (xi ; yi ).
2.Построение псевдовыборки по остаткам. Сначала оценивается модель и находится состоятельная оценка b. Затем вычисляются остатки: ebi = yi x0i b.
Из множества пар (xi; ei) n=1 случайным образом с возвращением извлека- |
|||
ются n наблюденийf(xi ; ebi ).giЗатем восстанавливается переменная левой части |
|||
i |
i |
i . Заметим, |
b |
y = x0 + e |
что в данном контексте этот метод построения псевдо- |
||
выборкиb |
b |
||
идентичен непараметрическому методу, но идентичность пропадает в |
|||
более сложных случаях.
3. Построение псевдовыборки по остаткам (специальный случай). Если исследователю заранее известно, что ошибки и регрессоры независимы, то эффективность бутстрапа можно увеличить, извлекая случайно с возвращением
x |
из f |
x |
n |
e |
e n |
по отдельности. |
i |
igi=1 |
и bi |
из fbigi=1 |
4.Построение псевдовыборки по остаткам (специальный случай). Если исследователь знает, что ошибки и регрессоры независимы, и, кроме того, ошибки распределены нормально, т.е. ei N(0; 2), то эффективность бутстрапа можно увеличить (по сравнению с предыдущим случаем), выбирая регрессоры и остатки для псевдовыборки по отдельности, и, кроме того, остатки стоит извлекать из нормального распределения, т.е. ebi извлекаются случайно из N(0; b2).
8Построение псевдовыборок при бутстрапе временных рядов
Временной ряд отличается от кросс-секционной выборки тем, что наблюдения здесь зависимы, поэтому случайное перемешивание при непараметрическом бутстрапе разрушает эту зависимость, так что вероятностная структура псевдоданных уже не имитирует вероятностную структуру данных. Чтобы избежать этого, используется блочный бутстрап, в котором псевдовыборка строится из блоков исходной выборки. Аналогично случаю независимых наблюдений, во временых рядах возможно построение псевдовыборки по остаткам, однако такой способ применим только в тех редких случаях, когда ошибки или инновации серийно независимы. Рассмотрим несколько альтернативных способов построения блочной псевдовыборки.
1.Построение псевдовыборки из перекрывающихся блоков. Исходная выборка делится на некоторое количество перекрывающихся блоков. Длина блока выбирается исследователем исходя из временной структуры ряда. Пусть fytgTt=1
27