1. 
   Суть метода наименьших квадратов (МНК). Как с помощью МНК оценить параметры регрессии?
   

Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

2. 
   Что такое зависимая и независимая переменная, регрессия, коэффициент регрессии?
   

Исходным положением линейного МРА является возможность представления значений «зависимой» переменной У через значения «независимых» переменных x₁, …, x_p в виде линейного уравнения:



где b - свободный член (Intercept), b₁, … ,b_p, b - коэффициенты регрессии (Unstandardized Coefficients), e - ошибка оценки (Residual). Коэффициенты регрессии вычисляются методом наименьших квадратов при решении системы из линейных уравнений, с минимизацией ошибки е.

После вычисления регрессионных коэффициентов по значениям независимых переменных для каждого из объектов могут быть вычислены оценки зависимой переменной Y (Predicted Values):



Сопоставление значений зависимой переменной Y_i с их оценками Ŷ_i по выборке испытуемых, для которых значения Y_i известны, называется анализом остатков или ошибок (residual analysis). Он позволяет оценить возможные погрешности предсказания. Значения оценок Ŷ_i могут быть вычислены и для испытуемых, истинные значения зависимой переменной для которых неизвестны.

Далее можно вычислить коэффициент корреляции Пирсона между известными значениями «зависимой» переменной и ее оценками. Это один из способов получения коэффициента множественной корреляции (КМК) между «зависимой» и «независимыми» переменными.

---

Коэффициент множественной корреляции - это мера линейной связи одной переменной с множеством других переменных; принимает положительные значения от 0 (отсутствие связи) до 1 (строгая прямая связь). КМК наряду с разностями между исходными и оцененными значениями «зависимой» переменной (ошибки е) - основные показатели качества модели множественной регрессии.

Если «зависимая» и «независимые» переменные представлены в z-значениях, то уравнение регрессии принимает вид:



где β_p - стандартные коэффициенты регрессии, или β - коэффициенты (Standardized Coefficient).

Стандартные коэффициенты регрессии связаны с исходными корреляциями следующим уравнением (в матричной форме):



где В - вектор-столбец стандартных коэффициентов регрессии, R^-1 - матрица, обратная корреляционной матрице «независимых» переменных, А - вектор-столбец корреляций «независимых» переменных с «зависимой» переменной. На практике регрессионный анализ начинается именно с вычисления стандартных коэффициентов регрессии.

Напомним, что в случае двумерной регрессии - при наличии всего одной независимой переменной, уравнение 3 имеет вид:



то есть стандартный коэффициент регрессии равен коэффициенту корреляции зависимой и независимой переменных. При наличии двух и более независимых переменных:



и β - коэффициент зависит не только от корреляции данной независимой и зависимой переменных, но и от того, коррелирует ли эта независимая переменная с другими независимыми переменными. Знак β - коэффициента соответствует знаку коэффициента корреляции данной «независимой» и «зависимой» переменной. Абсолютная величина β - коэффициента является максимальной - равна коэффициенту корреляции с зависимой переменной, если данная независимая переменная не коррелирует ни с одной из других независимых переменных. Чем сильнее данная независимая переменная связана с другими независимыми переменными, тем меньше β

---

- коэффициент.

Произведение коэффициента β_i,- на коэффициент корреляции r_iY этой переменной с «зависимой» переменной - это вклад данной переменной в дисперсию «зависимой» переменной. Ясно, что вклад переменной выше, если ее корреляция с зависимой переменной выше, а с другими независимыми переменными - ниже. Поэтому ценность независимой переменной для множественной регрессии определяется не только ее корреляцией с зависимой переменной (как в двумерной регрессии), но и ее «уникальностью» - слабой связью с другими независимыми переменными.

Если «зависимая» переменная представлена в z-значениях (дисперсия равна 1), то эта единичная дисперсия «зависимой» переменной D_Y может быть выражена формулой:



где D_e - часть дисперсии, обусловленная влиянием неучтенных факторов, или дисперсия ошибки предсказания.

3. 
   Что понимается под парной регрессией?
   

О парной линейной регрессии говорят, когда установлена зависимость между двумя переменными величинами (x и y). Парная линейная регрессия называется также однофакторной линейной регрессией, так как один фактор (независимая переменная x) влияет на результирующую переменную (зависимую переменную y).

4. 
   Что показывают стандартизованные коэффициенты регрессии?
   

Стандартизованные коэффициенты регрессии показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор xj изменится на одну сигму при неизменном среднем уровне других факторов.

---

Смотрите также файлы

• Информатика ент дайынды.docx

• Контрольная работа По дисциплине Истории России.docx

• азастан,Ресей, ытай, ырызстан, збекстан.docx

• Физика пніне арналан тест тапсырмалары.docx

• I. происшествие 20го числа.docx