ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 07.04.2021
Просмотров: 1619
Скачиваний: 34
91
оценка имеет вид I
*
=TA
-1
ZX=
t
*
, т.е. совпадает с о.н.к. (9.7).
Наконец, формула (9.8) следует из соотношения (*), если
подставить вместо
L
найденное оптимальное решение. ▓
2.
Поскольку оценка наименьших квадратов имеет
минимальную дисперсию, она является эффективной оценкой.
В качестве следствия теоремы получаем, что D(
)=
2
А
-1
или
cov
,
,
,
,...,
*
*
i
j
ij
a
i j
k
2
1
, (9.9)
где
a
A
a
ij
ij
1
1
.
Теорема позволяет решить задачу о построении
оптимальных оценок для произвольных линейных функций от
коэффициентов регрессии - это оценки наименьших квадратов.
Оценивание остаточной дисперсии. Из равенства (9.4)
имеем
MS
DX
n
i
i
n
( )
1
2
. Учитывая (9.9), найдем
.
,
)
(
)
(
)
)(
(
)
(
)
(
1
2
2
1
2
1
,
2
1
,
*
*
*
*
k
k
k
j
i
ij
ij
k
j
i
j
j
i
i
ij
T
E
AA
k
E
tr
AA
tr
a
a
M
a
A
M
Отсюда следует, что M[S(
*
)]=(n-k)
2
, т.е. несмещенной
оценкой для остаточной дисперсии
2
является статистика
~
*
*
*
2
1
1
n k
S
n k
X Z
X Z
T
T
T
.
Вектор U=
X Z
T
*
называют
остаточным
вектором, а его
компоненты -
остатками
. Таким образом, оценка
~
2
равна
сумме квадратов остатков, поделенной на (n-k) – это есть
разность между числом наблюдений и числом параметров
i
.
Рассмотрим пример применения метода наименьших
квадратов
92
Пример.
(Простая регрессия) Рассмотренную теорию
применим для оценивания параметров в случае простой
регрессии. Пусть число параметров k=2, т.е.
=(
1
,
2
), а
векторы
z
(i)
имеют вид
z
(i)
=(1,t
i
), i=1,...,n. Тогда
M[X
i
]=
1
+
2
t, i=1,...,n. (9.10)
т.е. среднее значение наблюдений является линейной
функцией одного фактора t. Так, t может быть температурой,
при которой производится эксперимент, дозой лечебного
препарата, возрастом обследуемых лиц и т.д.
Следует выявить связь между исходом эксперимента и
фактором t на основании выборки. Поэтому регистрируют n
пар
значений
t
i
фактора
t.
Прямую
(t)=
1
+
2
t,
соответствующую (9.10) называют
линией регрессии
, а
коэффициент
2
- ее
наклоном.
В данном случае матрицы Z,A и столбец Y=ZX равны
Z
t
t
n
1
1
1
...
...
,
A
n
t
t
t
i
i
i
2
,
.
i
i
i
X
t
X
Y
Будем предполагать, что не все t
i
одинаковы (чтобы rank Z=2),
тогда
.
0
)
(
det
1
2
2
1
1
2
n
i
i
n
i
i
n
i
i
t
t
n
t
t
n
A
A
(черта сверху означает арифметическое среднее).
A
A
t
nt
nt
n
i
1
2
1
,
.
*
2
*
1
2
1
t
X
n
X
t
X
t
t
t
X
A
n
Y
A
i
i
i
i
i
В результате несложных преобразований запишем оценки
1
*
и
2
*
в следующем удобном для вычислений виде:
2
2
1
2
*
*
*
(
)(
)
(
)
,
t
t X
X
t
t
X t
i
i
i
Вторые моменты этих оценок образуют матрицу
2
А
-1
,
поэтому
93
D
t
n
t
t
i
i
( )
(
)
*
1
2
2
2
;
D
t
t
i
( )
(
)
*
2
2
2
;
2
2
*
2
*
1
)
(
)
,
cov(
*
2
*
1
t
t
t
K
i
.
Величина S(
*
) равна
S
X
X
t
t
i
i
*
*
2
2
2
2
и несмещенная оценка для остаточной дисперсии имеет вид
~
( )
(
)
*
2
2
S
n
.
9.3. Подбор прямой методом наименьших квадратов
Одна из наиболее общих задач статистики состоит в
оценивании связи между двумя случайными величинами (если
такая связь существует). Такими парами случайных величин
могут быть, например, рост и вес, зарплата и уровень
интеллекта, возраст мужа и жены в момент вступления в брак,
длина металлического стержня и его температура, давление и
температура некоторого объема газа и т.д.
Если имеется
n
пар наблюдений
)
,
(
i
i
y
x
n
i
,...
2
,
1
над
такими случайными величинами, то наблюдения можно
представить точками на плоскости. Затем можно попытаться
подобрать по этим точкам некоторую гладкую кривую таким
образом, чтобы они располагались как можно ближе к этой
кривой. Эту кривую будем называть эмпирической или
аппроксимирующей. Ясно, сто все точки не лягут на
соответствующую кривую, поскольку каждая из случайных
величин в рассмотренных примерах подвержена случайным
флуктуациям в результате воздействия факторов, которыми
мы не в состоянии управлять.
Мы можем различать здесь два основных типа
переменных. Назовем их предсказывающими (предикторами),
или независимыми переменными (факторами) и зависимыми
94
переменными (откликами). Обычно зависимая переменная –
отклик является случайной величиной, а независимые
переменные – детерминированные величины. При этом
предикторы
и
отклики
связываются
уравнением
аппроксимирующей кривой.
В общем случае мы будем интересоваться тем, какие
изменения предикторов влияют на значения откликов. Это
можно осуществить, применяя метод анализа, называемый
методом наименьших квадратов (МНК). Его можно применять
для обработки данных эксперимента и для получения
заключений о свойствах выбранного уравнения. Этот метод
часто называют регрессионным анализом. МНК является
составной частью регрессионного анализа.
Слово «регрессия» (движение вспять, обращение)
впервые употребил английский антрополог и генетик Френсис
Гальтон в своем труде «Основные законы наследственности
человека».
Будем использовать метод наименьших квадратов в связи
с простым приложением – подбором «наилучшей» прямой по
данным для двух переменных
X
и
Y
, а затем рассмотрим
случаи, когда рассматривается большее число факторов
Рассмотрим
прямолинейную
зависимость
между
переменными. Во многих экспериментальных работах мы
хотим исследовать, как изменения одной переменной влияют
на другую. Иногда случается так, что две исследуемые
переменные оказываются связаны между собой точным
уравнением прямой.
Пример 1.
Закон Ома утверждает, что если
I
– ток (в
амперах), протекающий через сопротивление
R
(в омах), а
V
– напряжение (в вольтах) на этом сопротивлении, то эти три
величины связаны соотношением
I
R
V
. В прямоугольных
координатах
)
,
(
Y
X
закон Ома выражается прямой линией,
проходящей через начало координат. Если бы мы не знали
закон Ома, мы могли бы найти зависимость эмпирически,
поддерживая
R
фиксированным и изменяя
X
и
Y
. Иногда
линейная зависимость не точна, но она имеет смысл.
95
Пример 2.
Рассматривается рост и вес взрослых мужчин
из данной выборки, или популяции. Если мы нанесем на
график пары чисел
)
,
(
Y
X
=(рост, вес), то результат будет
соответствовать рис. 9.1.
Такое изображение обычно называют диаграммой
рассеяния или полем рассеяния . Для любого заданного роста
встречаются различные веса и наоборот. Такая вариация
может получиться из-за ошибки измерения и, самое главное,
это следствие разброса между индивидами. Однако можно
обнаружить, что средний наблюденный вес при заданном
росте растет с увеличением роста. Геометрическое место точек
средних наблюденных весов при данных ростах (при
изменении роста) назовем регрессионной кривой веса от роста.
Обозначим это следующим образом:
)
(
X
f
Y
.
Существует также и регрессионная кривая роста от веса,
которую обозначим так:
)
(
Y
g
X
. Пусть эти «кривые» будут
прямыми, как на рис. 9.1., хотя в общем случае они могут быть
и не прямыми.
Рис. 9.1. Рост и вес 30 мужчин
Если мы установим связь между зависимой случайной
величиной
Y
и величиной
X
, которая является переменной,