Файл: Anatolyev-lectures.pdf

Условная несмещённость:

E[bjX] = + (X0X) 1X0E["jX] = :

Безусловная несмещённость следует из условной несмещённости.

Условная дисперсия оценки есть

V ar[bjX] = (X0X) 1X0 X(X0X) 1;

где = V ar[yjX] = E[""0jX]:

4Обобщенный метод наименьших квадратов

Определение. Пусть E[yjX] = X . Классом линейных оценок называется класс, содержащий оценки вида A(X)y, где A(X) – матрица k n, которая зависит только от X.

Пример. Для МНК-оценки A(X) = (X0X) 1X0:

Определение. Пусть E[yjX] = X . Классом линейных несмещённых оценок называется класс, содержащий оценки вида A(X)y, где A(X) – матрица k n, зависящая только от X и удовлетворяющая условию A(X)X = Ik.

Пример. Для МНК-оценки A(X)X = (X0X) 1X0X = Ik:

Заметим, что V ar[A(X)yjX] = A(X) A(X)0. Мы хотим найти линейную несмещённую оценку, которая минимизирует V ar[A(X)yjX].

Теорема (Гаусса-Маркова). Наилучшей линейной несмещённой оценкой линейной регрессии среднего является оценка e = A (X)y; где

A (X) = (X0 1X) 1X0 1:

В этом случае дисперсионная матрица оценки имеет вид

V ar[ejX] = (X0 1X) 1:

Доказательство. Оценка e принадлежит классу линейных несмещённых оценок, ибо A (X)X = Ik: Возьмем произвольную матрицу A(X), такую, что A(X)X = Ik. В этом случае имеют место следующие равенства:

(A(X) A (X))X = 0;

(A(X) A (X)) A (X)0 = (A(X) A (X)) 1X(X0 1X) 1 = 0:

38

Тогда

V ar[A(X)Y jX] = A(X) A(X)0 =

=(A(X) A (X) + A (X)) (A(X) A (X) + A (X))0 =

=(A(X) A (X)) (A(X) A (X))0 + V ar[A (X)Y jX] V ar[ejX]:

Следовательно, оценка e является наилучшей в классе линейных несмещённых оценок.

Определение. Пусть E[yjX] = X . Оценка e = (X0 1X) 1X0 1y называется оценкой обобщённого метода наименьших квадратов (ОМНК).

Следствие 1. ОМНК-оценка e является эффективной в классе линейных несмещённых оценок.

Следствие 2. Если ошибка линейной регрессии среднего обладает свойством условной гомоскедастичности, то e = b, т.е. МНК- и ОМНК-оценки совпадают.

Ниже приведена таблица, содержащая условные дисперсионные матрицы МНК- и ОМНК-оценок в конечных выборках для случаев условной гетеро- и гомоскедастичности.

OLS GLS

Гомоскедастичность 2(X0X) 1 2(X0X) 1 Гетероскедастичность (X0X) 1X0 X(X0X) 1 (X0 1X) 1

Замечание 1. ОМНК-оценка e является недоступной, поскольку матрица неизвестна.

Замечание 2. ОМНК-оценка e является частным случаем оценки взвешенного метода наименьших квадратов (ВМНК)

bW LS = (X0W X) 1X0W Y;

где W – положительно определенная матрица.

5Асимптотические свойства ОМНК-оценок

Рассмотрим асимптотические свойства ОМНК-оценки. Для этого представим ее в

следующем виде:

39

Пользуясь законом больших чисел и центральной предельной теоремой, получим:

Последнее выражение следует из

"#

Таким образом, ОМНК-оценка является состоятельной и асимптотически нормальной.

Ниже приведена таблица, содержащая асимптотические дисперсионные матрицы

МНК- и ОМНК-оценок для случаев условной гетеро- и гомоскедастичности:

где zi = f(xi) для любой функции f : Rk ! Rk.

Доказательство. Заметим, что МНК- и ОМНК-оценки принадлежат указанному классу, т.к. для МНК zi = xi, а для ОМНК zi = xi= 2(xi): Рассмотрим оценку

Легко показать, что она состоятельна и асимптотически нормальна с асимптотической дисперсионной матрицей

Vzz = Qzx1Qe2zzQxz1;

40

где Qzx = E[zx0], а Qe2zz = E[zz0e2] = E[zz0 2(x)]: Зная, что асимптотическая дис-

Здесь v = z (x), u = x= (x) и w = v E[vu0](E[uu0]) 1u. Таким образом, мы показали, что ОМНК-оценка асимптотически эффективна в указанном классе.

Результат. ОМНК-оценка является аналоговой оценкой, т.е. может быть получена из принципа аналогий. А именно, ОМНК-оценка получается из условия

6Доступная ОМНК-оценка

Как уже было замечено, чтобы получить ОМНК-оценку, нам необходимо знать дисперсионную матрицу ошибок , главная диагональ которой напичкана величинами

2(xi), а на остальных местах стоят нули. Естественно полагать, что эти параметры являются неизвестными априори, поэтому они должны быть оценены. Плохо то, что для этого необходима модель для 2(x). Эту функцию можно (и нужно!) оценивать непараметрически, но мы пока к этому не готовы.

Обычно предполагают, что дисперсия ошибок есть линейная функция от некоторой трансформации x:

2(x) = E[e2jx] = z0 ;

где z есть некоторая трансформация x, например z = x2. Если предположение пра-

вильное, то можно оценить скедастичную регрессию

e2 = z0 + "; E["jz] = 0:

Оценив исходную регрессию с помощью МНК и скедастичную регрессию, используя квадраты МНК-остатков вместо квадратов ошибок, также с помощью МНК, имеем:

41

Таким образом, мы получаем состоятельные оценки дисперсий ошибок:

b2(xi) = zi0b;

после чего, мы можем построить доступную оценку обобщенного метода наименьших квадратов (ДОМНК):

Приведем алгоритм построения ДОМНК-оценки:

1.Используя МНК, оценить исходную регрессию и получить остатки ebi для i = 1; : : : ; n. Прогнать скедастичную регрессию, получить оценки b и построить оценки дисперсий ошибок b2(xi) (или b).

2.Построить ДОМНК-оценку

Вообще говоря, такой алгоритм построения оценок дисперсии ошибок не гарантирует их положительность. Ниже приведены способы избежать b2(xi) < 0.

1.Выбрать некоторое малое > 0. Положить b2(xi) = max(zi0b; ).

2.Выбросить те наблюдения, для которых b2(xi) < 0.

e

42