Файл: Учебное пособие для вузов Вологда Волнц ран 2021 удк 330. 43 Ббк 65в6 В24.pdf

1.1.3.
Модели MA и AR
Рассмотрим частные случаи общей модели ARMA:
• MA(q) = ARMA(0, q) – модель скользящего среднего;
• AR(p) = ARMA(p, 0) – модель авторегрессии.
Модель MA(q)
Модель MA(q) (q – порядок лага)
x t
= µ + u t
+ θ
1
u t−1
+
· · · + θ
q u
t−q
,
u t
∼ WN(0, σ
2
u
), θ
q
6= 0.
Временной ряд учитывает только внешние шоки до порядка q. Модель задаёт стационарный ряд x t
при любых
{θ
j
}
q
1
, так как φ(z)
≡ 1 не имеет корней. Используя лаговый оператор её можно записать так x
t
= µ + θ(L)u t
Среднее, дисперсия и ACF для MA(q)
Так как u t
∼ WN(0, σ
2
u
), то
Ex t
= µ + Eu t
+ θ
1
Eu t−1
+
· · · + θ
q
Eu t−q
= µ
Далее
Var(x t
) = Var(µ + u t
+ θ
1
u t−1
+
· · · + θ
q u
t−q
) =
(1 + θ
2 1
+
· · · + θ
2
q
)σ
2
u
Что касается ACF, то ρ(h) = 0 при
|h| > q, т.е. ряд “забывает”
прошлые значения с лагами больше порядка модели.
18

-2 0
2 0
50 100 150 200
MA(1) theta=0.9
-0.2 0.0 0.2 0.4 0

0 5
10 15 20
Lag
ACF
-0.2 0.0 0.2 0.4 0

0 5
10 15 20
Lag
PACF
Рисунок 1.3. Пример модели MA(1) и её ACF и PACF.
Если рассмотреть модель MA(
∞)
x t
= µ + u t
+ θ
1
u t−1
+ θ
2
u t−2
+
· · · = µ + u t
+
∞
X
j=1
θ
j u
t−j
,
u t
∼ WN(0, σ
2
u
),
в которой ряд “помнит” все прошлые шоки, то для неё
Ex t
= µ,
Var(x t
) = (1 +
∞
X
j=1
θ
2
j
)σ
2
u
19

-2 0
2 0
50 100 150 200
MA(2)
-0.2
-0.1 0.0 0.1 0
5 10 15 20
Lag
ACF
-0.2
-0.1 0.0 0.1 0
5 10 15 20
Lag
PACF
Рисунок 1.4. Пример модели MA(2) и её ACF и PACF.
Модель AR(p)
Модель AR порядка p имеет вид x
t
= µ + φ
1
x t−1
+
· · · + φ
p x
t−p
+ u t
,
u t
∼ WN(0, σ
2
u
), φ
p
6= 0.
Видно, что текущее значение в этой модели зависит от прошлых значе- ний до лага p и от текущего внешнего шока.
Через лаговый оператор модель можно записть в виде
φ(L)x t
= µ + u t
Утверждение. Модель AR(p) определяет стационарный ряд
⇐⇒ вы-
20

полнено условие стационарности: все корни (в том числе из C) мно- гочлена φ(z) по модулю больше единицы.
-2 0
2 0
50 100 150 200
AR(2)
-0.2 0.0 0.2 0.4 0
5 10 15 20
Lag
ACF
-0.2 0.0 0.2 0.4 0
5 10 15 20
Lag
PACF
Рисунок 1.5. Пример модели AR(2) и её ACF и PACF.
Пример. Модель AR(1):
x t
= µ + φx t−1
+ u t
,
φ
6= 0.
Так как AR(1) является частным случаем ARMA(1; q), то ранее мы доказали
Утверждение. Модель AR(1) стационарна
⇐⇒ |φ| < 1.
Замечание. При φ = 1 модель AR(1) задаёт (нестационарное) случайное блуждание. В этом случае многочлен φ(z) имеет единичный корень.
Подробнее об этом будет рассказано в следующей главе.
21

Среднее значение и PACF для модели AR
Для стационарной AR
Ex t
= µ + φ
1
Ex t−1
+
· · · + φ
p
Ex t−p
+ Eu t
⇒
(1
− φ
1
− · · · − φ
p
)Ex t
= µ
⇒
Ex t
=
µ
1
− (
P
p
1
φ
j
)
=
µ
φ(1)
А особенность частной автокорреляционной функции состоит в том,
что ρ
part
(h) = 0 при
|h| > p и ρ
part
(p) = φ
p
Для того,чтобы вычислить автокорреляционную функцию выпол- ним несколько преобразований, используя свойства ковариации.
γ(h) = cov(x t
, x t−h
) = cov(µ + φ
1
x t−1
· · · + φ
p x
t−p
+ u t
, x t−h
) =
φ
1
cov(x t−1
, x t−h
) +
· · · + φ
p cov(x t−p
, x t−h
) =
φ
1
γ(h
− 1) + · · · + φ
p
γ(h
− p).
Разделив на γ(0) получаем
ρ(h) = φ
1
ρ(h
− 1) + · · · + φ
p
ρ(h
− p).
Объединяя уравнения при h = 1, . . . , p получаем систему Юла-Уолкера.
Таким образом, получаем автокорреляционную функцию для модели
AR(1) (h > 0):
ρ(h) = φρ(h
− 1) = φ · φρ(h − 2) = · · · = φ
h
ρ(0) = φ
h
PACF для модели AR(1) имеет следующую структуру:
ρ
part
(h) =







1,
h = 0
φ
1
,
h = 1 0,
h > 2
Для модели авторегрессии первого порядка существуют два разных случая поведения выборочного временного ряда: случаи положительно- го и отрицательного коэффициента φ
1 22

Случай φ
1
> 0. По определению, corr(x t
, x t+1
) = ρ(1) = φ
1
> 0, т.е.
соседние члены временного ряда положительно коррелированы. Это означает, что в выборочных значениях временного ряда имеет место следующая закономерность:
Во временном ряду есть «тенденция к сохранению знака»
относительно среднего уровня (математического ожидания): если значение временного ряда больше среднего уровня, то, «типичная ситуация», что и последующее значение также больше среднего уровня и наоборот (см.рис.).
-4
-2 0
2 0
50 100 150 200
AR(1) phi=0.8 0.0



0 5
10 15 20
Lag
ACF
0.0





0 5
10 15 20
Lag
PACF
Рисунок 1.6. Пример модели AR(1) и её ACF и PACF.
Особенно наглядно эта закономерность выглядит при нулевом сред- него значения (случай µ = 0): «типичная ситуация», что значение вре-
23

менного ряда имеет тот же знак (положительный или отрицательный),
что и предыдущее значение.
Случай φ
1
< 0.
По определению, corr(x t
, x t+1
) = ρ(1) = φ
1
< 0, т.е.
соседние члены временного ряда отрицательно коррелированы. Это означает, что в выборочных значениях временного ряда имеет место следующая закономерность:
Во временном ряду есть «тенденция к смене знака»
относительно среднего уровня (математического ожидания): если значение временного ряда больше среднего уровня, то, «типичная ситуация», что последующее значение меньше среднего уровня и наоборот.
В случае нулевого среднего значения (случай µ = 0) эта закономерность особенно наглядна: «типичная ситуация», что значение временного ряда имеет противоположный знак по сравнению с предыдущим значением.
1.1.4.
Прогнозирование для модели ARMA
Пусть известны значения ряда x t
и шоки u t
до периода T . Обозна- чим Ω
T
=
{x t
, u t
|t ≤ T } и на основе Ω
T
будем строить “оптимальный”
прогноз ˆ
x
T +τ
= ˆ
x
T +τ
|Ω
T
на период T + τ (τ = 1, 2, . . .).
Оптимальность прогноза будем понимать в смысле среднего квад- ратического отклонение min E(ˆ
x
T +τ
− x
T +τ
)
2
Начнём с прогнозирования на один период. Пусть τ = 1, тогда x
T +1
= µ + φ
1
x
T
+
· · · + φ
p x
T +1−p
+ u
T +1
+ θ
1
u
T
+
· · · + θ
q u
T +1−q
Для ARMA-модели cov(u
T +1
, x t
) = 0, cov(u
T +1
, u t
) = 0 при t
≤ T .
Оптимальный прогноз на один период
ˆ
x
T +1
= µ + φ
1
x
T
+
· · · + φ
p x
T +1−p
+ θ
1
u
T
+
· · · + θ
q u
T +1−q
24

Замечание. Стоит обратить внимание, что при прогнозировании отбра- сываются шоки, данном случае, – u
T +1
Теперь рассмотрим τ = 2 (прогноз на два шага). Имеем x
T +2
= µ + φ
1
x
T +1
+ φ
2
x
T
+
· · · + φ
p x
T +2−p
+
u
T +2
+ θ
1
u
T +1
+ θ
2
u
T
+
· · · + θ
q u
T +2−q
Для ARMA модели cov(u
T +τ
, x t
) = 0, cov(u
T +τ
, u t
) = 0 при τ = 1, 2 и t
≤ T .
Оптимальный прогноз на два периода вперёд:
ˆ
x
T +2
= µ + φ
1
ˆ
x
T +1
+ φ
2
x
T
+
· · · + φ
p x
T +2−p
+
θ
2
u
T
+
· · · + θ
q u
T +2−q
Замечание. Как и отмечалось, отбрасываем u
T +2
и u
T +1
, а x
T +1
заме- няем на его прогноз.
Для общего случая запишем правило последовательного построения оптимального прогноза на τ шагов:
1. записываем ARMA-формулу для x
T +τ
;
2. “отбрасываем” будущие шоки u
T +τ
, . . . , u
T +1
;
3. заменяем будущие значения x
T +τ −1
, . . . , x
T +1
на их прогнозы, по- лученные на предыдущих шагах.
Замечание. Прогнозы вычисляются последовательно для τ = 1, 2, . . ..
Для ˆ
x
T +τ
нужно знать ˆ
x
T +τ −1
, . . . , ˆ
x
T +1
Для стационарной ARMA-модели существует предел lim
τ →+∞
ˆ
x
T +τ
= Ex t
,
т.е. долгосрочный прогноз “мало отличается” от тривиального прогно- за – математического ожидания.
25

Утверждение. Модели стационарных рядов (ARMA) дают только краткосрочные “содержательные” прогнозы. Долгосрочные прогнозы не являются информативными.
Из построения следует, что при τ > q формула для ˆ
x
T +τ
не включает внешние шоки u
T
, u
T −1
, . . ., т.к. при переходе к следующему шагу “часть
M A” сокращается на одно слагаемое.
Замечание. Для модели MA(q) прогноз при τ > q равен ˆ
x
T +τ
= µ. Это также следствие того, что cov(x t+s
, x t
) = 0,
s > q.
1.2.
Оценка и тестирование модели
1.2.1.
Подход Бокса-Дженкинса
Методологию работы со стационарными рядами можно представить в следующем виде:
1. Выбор порядка модели;
2. оценка модели выбранного порядка;
3. проверка “адекватности”;
4. прогнозирование.
Для выбора порядка модели традиционно вычисляют выборочные автокорреляционную и частную автокорреляционную функции.
• Выборочные коэффициенты автоковариации
ˆ
γ(h) =
1
n
− h n−h
X
t=1
(x t
− ¯x)(x t+h
− ¯x).
• Выборочные коэффициенты автокорреляции (ACF )
ˆ
ρ(h) = r(h) =
ˆ
γ(h)
ˆ
γ(0)
26

• Выборочные частные коэффициенты автокорреляции (P ACF )
ˆ
ρ
part
(h) =
d corr(x t
, x t+h
|x t+1
, . . . , x t+h−1
).
Далее необходимо проверить их значимость. Для этого тестируем гипотезу при фиксированном лаге:
H
0
: ρ(h) = 0 vs H
1
: ρ(h)
6= 0.
Так как критическое значение z cr
= z(α), то статистическое прави- ло выглядит следующим образом: (асимптотически) отвергаем H
0
при
|ˆ
ρ(h)
| > z cr
/
√
n и называем коэффициент значимым.
Аналогично тестируем гипотезу
H
0
: ρ
part
(h) = 0 vs H
1
: ρ
part
(h)
6= 0.
Предварительное тестирование на белый шум
Для построения моделей необходимо провести предварительный ана- лиз стационарного ряда. Для этого тестируется гипотеза:
H
0
: x t
∼ WN(µ, σ
2
).
Точнее тестируется (для некоторого K > 0) гипотеза:
H
′
0
: ρ(1) =
· · · = ρ(K) = 0.
Обычно используется две тестовых Q-статистики, которые автома- тически вычисляются в компьютерных пакетах:
• Box G.E.D., Pierce D.A., 1970 (устаревшая):
Q
BP
= n
K
X
h=1
ˆ
ρ
2
(h).
• Ljung G.M., Box G.E.D., 1978:
Q = n(n + 2)
K
X
h=1
ˆ
ρ
2
(h)
n
− h
27

Критическое значение имеет хи-квадрат распределения χ
2
cr
= χ
2
K
(α),
поэтому для проверки гипотезы применяем следующее статистическое правило:
• При Q > χ
2
cr отвергаем H
′
0
(и H
0
).
• При Q < χ
2
cr не отвергаем H
′
0
Или альтернативно делаем вывод с помощью P-значения.
Замечание. Применение Q-статистик оправдано только для больших выборок. Это асимптотический тест!
Оценка модели и тестирование гипотез
Оценивание модели ARMA(p, q) происходит с помощью метода мак- симального правдоподобия (из-за нелинейности в части MA).
Замечание. Для ARMA M L-метод также даёт “остатки” ˆ
u t
, “моделиру- ющие” шоки u t
части MA (не путать с остатками линейной регресии).
Тестирование гипотез о значимости коэффициентах проводится стан- дартным для метода максимального правдоподобия путём:
• Проверка значимости коэффициента: тестовая статистика z =
ˆ
φ
j s
j или z =
ˆ
θ
l s
l
• Проверка совместной значимости: LR или W статистики.
Отметим, что модель AR(p) можно оценить, используя метод наи- меньших квадратов. В этом случае система нормальных уравнений есть система Юла-Уолкера
ˆ
ρ(h) = φ
1
ˆ
ρ(h
− 1) + · · · + φ
p
ˆ
ρ(h
− p), h = 1, . . . , p.
Оценки коэффициентов φ
1
, . . . , φ
p можно получить как решения си- стемы уравнений Юла–Уолкера











ˆ
ρ(1) = φ
1
ˆ
ρ(0) + φ
2
ˆ
ρ(1) +
· · · + φ
p
ˆ
ρ(p
− 1)
ˆ
ρ(2) = φ
1
ˆ
ρ(1) + φ
2
ˆ
ρ(0) +
· · · + φ
p
ˆ
ρ(p
− 2)
ˆ
ρ(p)
= φ
1
ˆ
ρ(p
− 1) + φ
2
ˆ
ρ(p
− 2) + · · · + φ
p
ˆ
ρ(0),
28

а оценка коэффициента µ равна m = ¯
x

1
− ˆ
φ
1
− · · · − ˆ
φ
p

Пример. Для модели авторегрессии первого порядка получаем
ˆ
φ
1
= ˆ
ρ(1),
m = ¯
x 1
− ˆ
φ
1

= ¯
x 1
− ˆ
ρ(1)

Следовательно, модель первого порядка будет задаваться авторегресси- онным уравнением
ˆ
x t
= ¯
x 1
− ˆ
ρ(1)

+ ˆ
ρ(1)x t−1
Пример. Для временного ряда были вычислены ¯
x = 1.3 и ˆ
ρ(1) =
−0.7.
Тогда уравнение авторегрессии для модели первого порядка будет сле- дующим
ˆ
x t
= 1.3 1
− (−0.7)

+ (
−0.7)x t−1
= 2.21
− 0.7x t−1
Пример. Для модели второго порядка (с учетом ˆ
ρ(0) = 1) система урав- нений Юла-Уолкера имеет вид
(
β
1
+ ˆ
ρ(1)φ
2
= ˆ
ρ(1)
ˆ
ρ(1)φ
1
+ φ
2
= ˆ
ρ(2)
Решая ее получаем
ˆ
φ
1
=
ˆ
ρ(1)
− ˆ
ρ(1)ˆ
ρ(2)
1
− ˆ
ρ
2
(1)
,
ˆ
φ
2
=
ˆ
ρ(2)
− ˆ
ρ
2
(1)
1
− ˆ
ρ
2
(1)
Модель второго порядка будет задаваться авторегрессионным уравне- нием
ˆ
x t
= ¯
x

1
− ˆ
φ
1
− ˆ
φ
2

+ ˆ
φ
1
x t−1
+ ˆ
φ
2
x t−2
Пример. Для временного ряда были вычислены ¯
x = 2.1, ˆ
ρ(1) = 0.6 и
ˆ
ρ(2) =
−0.2. Коэффициенты для модели второго порядка равны
ˆ
φ
1
=
0.6
− 0.6(−0.2)
1
− 0.6 2
= 1.125,
ˆ
φ
2
=
−0.2 − 0.6 2
1
− 0.6 2
=
−0.875.
Модель второго порядка будет задаваться уравнением
ˆ
x t
= 2.1 1
− 1.125 − (−0.875)

+ 1.125x t−1
+ (
−0.875)x t−2 29

Формулы для вычисления прогнозируемых значений получаются из формул прогнозирования для стационарного временного ряда с заменой коэффициентов φ
k и µ на их МНК-оценки:
b x
n+1
= m + ˆ
φ
1
x n
+ ˆ
φ
2
x n−1
+
· · · + ˆ
φ
p x
n−p+1
b x
n+2
= m + ˆ
φ
1
b x
n+1
+ ˆ
φ
2
x n
+
· · · + ˆ
φ
p x
n−p+2
К авторегрессионной модели временных рядов асимптотически приме- нимы все методы регрессионного анализа (проверка значимости коэф- фициентов модели и модели в целом и т.д.), кроме теста Дарбина–
Уотсона (Durbin – Watson) (т.к. модель содержит лаговые значения за- висимой переменной).
Информационные критерии
Для сравнения моделей и выбора порядка используются стандарт- ные информационные критерии, которые определяются через ошибку регрессии s
2
=
P
ˆ
u
2
t
/n.
• Информационный критерий Акаике (Akaike, 1973)
AIC = ln s
2
+
2(p + q + 1)
n
• Информационный критерий Шварца (Schwarz [33], 1978) или Бай- еса (Bayesian)
SIC = BIC = ln s
2
+
(p + q) ln n n
• Информационный критерий Хеннана-Куина (Hannan, Quinn [27],
1979)
HQC = ln s
2
+
2(p + q) ln(ln n)
n
30

Иногда используются показатели информационных критериев без деления на объём выборки:
AIC = 2(p + q + 1) + n ln s
2
;
SIC = (p + q) ln n + n ln s
2
;
HQC = 2(p + q) ln(ln n) + n ln s
2
Алгоритм выбора порядка модели ARMA можно записать следую- щим образом:
1. оцениваем несколько альтернативных моделей разного порядка
(p, q);
2. выбираем модель с минимальным информационным критерием.
Замечание. Эмпирически критерий Акаике имеет тенденцию к завыше- нию порядка при больших выборках поэтому Байесовский критерий или критерий Шварца считается предпочтительнее для оцениванию поряд- ка. Критерий Хеннана-Куина может недооценивать порядок при неболь- ших объемах выборки.
Пример. По временному ряду объема n = 100 были оценены авторегрес- сионные модели до четвертого порядка и для них получены следующие оценки дисперсий ошибок:
s
2
(1) = 0.9, s
2
(2) = 0.7, s
2
(3) = 0.5, s
2
(4) = 0.46.
Выберем порядок модели авторегрессии p на основе информационного критерия Шварца. Вычислим показатель SIC для моделей авторегрес- сии до четвертого порядка:
SIC(1) = n ln s
2
(1) + 1
· ln n = 100 ln 0.9 + 1 · ln 100 ≈ −5, 93
SIC(2) = n ln s
2
(2) + 2
· ln n = 100 ln 0.7 + 2 · ln 100 ≈ −26, 46
SIC(3) = n ln s
2
(3) + 3
· ln n = 100 ln 0.5 + 3 · ln 100 ≈ −55, 5
SIC(4) = n ln s
2
(4) + 4
· ln n = 100 ln 0.46 + 4 · ln 100 ≈ −59, 23 31

Следовательно, необходимо сделать выбор в пользу модели авторегрес- сии четвертого порядка, так как значение информационного критерия для нее минимально.
Проверка адекватности модели
Проверка адекватности, т.е. проверка согласованности выбранной и оцененной модели с наблюдениями, как и в регрессионном анализе, ос- новано на исследовании остатков. А именно, остатки должны модели- ровать процесс нормально распределенного белого шума.
Тесты на автокорреляцию
Тесты на автокорреляцию позволяют проверить “адекватность” вы- бранного порядка модели. Идея состоит в том, что если порядок модели
“правильный”, то остатки ˆ
u t
“моделируют” белый шум (в частности, от- сутствует автокорреляция).
Так как модель содержит лаговые значения зависимой переменной,
то критерий Дарбина–Уотсона для исследования ошибок на автокорре- ляцию неприменим. Статистика DW будет смещенной в сторону умень- шения.
Приведем метод исследования, предложенный Боксом и Льюнгом
(Box, Ljung [18]) и основанный на применении Q-статистик.
Тесты на серийную корреляцию подразумевают проверку гипотезы:
H
0
: ρ
u
(1) =
· · · = ρ
u
(K) = 0.
Тестовая Q-статистика Льюинга-Бокса (Ljung-Box)
Q = n(n + 2)
K
X
h=1
ˆ
ρ
2
u
(h)
n
− h
,
где ˆ
ρ
u
(h) – автокорреляционная функция ACF для ряда остатков ˆ
u t
При выполнении условия Гаусса – Маркова на ошибки модели Q- статистики асимптотически имеют распределение χ
2
K−p−q
. H
0
отвер- гается при Q > χ
2
cr
= χ
2
K−p−q
(α) (или с помощью P-значения отвергаем при P < α)), и тогда тест указывает на серийную корреляцию для u t
32

Пример. Для временного ряда длины n = 100 была оценена модель авторегрессии второго порядка AR(2) = ARMA(2; 0) (p = 2, q = 0) и вычислены коэффициенты автокорреляции остатков
ˆ
ρ
u
(1) = 0.001, ˆ
ρ
u
(2) = 0.001, ˆ
ρ
u
(3) = 0.0006,
ˆ
ρ
u
(4) = 0.0004, ˆ
ρ
u
(5) = 0.0003.
Проверим адекватность модели по критерию Бокса – Льюнга. Вычис- лим Q-статистику с K = 5:
Q = n(n + 2)

ˆ
ρ
2
u
(1)
n
− 1
+
ˆ
ρ
2
u
(2)
n
− 2
+
ˆ
ρ
2
u
(3)
n
− 3
+
ˆ
ρ
2
u
(4)
n
− 4
+
ˆ
ρ
2
u
(5)
n
− 5

=
100
· 102 ·

0.001 2
100
− 1
+
0.001 2
100
− 2
+
0.0006 2
100
− 3
+
0.0004 2
100
− 4
+
0.0003 2
100
− 5

≈
≈ 0.00027.
Критическое значение распределения хи-квадрат с K
−p−q = 5−2−0 =
3 степенями свободы при 5%-м уровне значимости равно
χ
2
= χ
2
(5%; 3)
≈ 7.875.
Так как Q < χ
2
, то данные согласованы с условиями Гаусса – Маркова для модели AR(2).
1.3.
Линейная регрессия для стационарных рядов
Пусть y t
, x t
= (x t1
, . . . , x tk
)
′
– стационарные ряды.
Наиболее популярными являются три модели линейной регрессии:
1. статическая y t
= x
′
t
β
+ u t
;
2. конечных распределённых лагов FDL
2
; объясняющие переменные содержат лаги факторов x t
;
2
Finite Distributed Lags.
33