Файл: Изложение проблемы Решение проблемы Заключение список использованных источников и литературы введение тема моей курсовой работы Линейная регрессия в трехмерном евклидовом пространстве.pdf

????(????) − ???? + 1 -мерное линейное подпространство, линейная оболочка вектор- столбцов X. Итак, если y принадлежит C(X), то мы можем найти решение, если нет — будем искать, так сказать, лучшее из нерешений.
Если в дополнение к векторам C(X) мы рассмотрим все вектора им перпендикулярные, то получим еще одно подпространство и сможем любой вектор из ℝ
????
разложить на две компоненты, каждая из которых живет в своем подпространстве.
Второе, перпендикулярное пространство, можно характеризовать следующим образом.
Пускай ???? ∈ ℝ
????
, тогда равен нулю в том и только в том случае, если v перпендикулярен всем x i
, а значит и целому C(X). Таким образом, мы нашли два перпендикулярных линейных подпространства, линейные комбинации векторов из которых полностью, без дыр,
«покрывают» все ℝ
N
. Иногда это обозначают c помощью символа ортогональной прямой суммы где ker(X
T
) = {v|X
T
v = 0}. В каждое из подпространств можно попасть с помощью соответствующего оператора проекции, но об этом ниже (рисунок 10).
Рисунок 10 – Перпендикулярные подпространства

Теперь представим в виде разложения (рисунок 11)
Рисунок 11 – В виде разложения
Если мы ищем решение ????
̂, то естественно потребовать, чтобы ‖???? − ????????‖ была минимальна, ведь это длина вектора-остатка. Учитывая перпендикулярность подпространств и теорему Пифагора но поскольку, выбрав подходящий w, я могу получить любой вектор колоночного пространства, то задача сводится к а ???? (перпендикуляр) останется в качестве неустранимой ошибки. Любой другой выбор ????
̂ сделает ошибку только больше (рисунок 12).

Рисунок 12 – Неустранимая ошибка
Если теперь вспомнить, что ????
????
????
????
= 0, то легко видеть что очень удобно, так как ????
????????????????
у нас нет, а вот y — есть.
????
????
???? имеет обратную при условии линейной независимости признаков и запишем решение где ????
+
уже знакомая нам псевдообратная матрица. Если нам интересна проекция
????
????????????????
, то можно записать где ????????????????
????
???? — оператор проекции на колоночное пространство.
Выясним геометрический смысл коэффициента детерминации (рисунок 13).

Рисунок 13 – Геометрический смысл коэффициента детерминации
Заметьте, что фиолетовый вектор ????̅ ∙ 1 = ????̅ ∙ (1,1, … ,1) пропорционален первому столбцу матрицы информации X, который состоит из одних единиц согласно нашему выбору базисных функций. В RGB треугольнике
Так как этот треугольник прямоугольный, то по теореме Пифагора
Это геометрическая интерпретация уже известного нам факта, что
Мы знаем, что а значит
1.8 Произвольный базис

Как мы знаем, регрессия выполняется на базисных функциях ????
????
и её результатом есть модель но до сих пор мы использовали простейшие ????
????
, которые просто ретранслировали изначальные признаки без изменений, ну разве что дополняли их постоянной фичей
????
0
(????) = 1. Как можно было заметить, на самом деле ни вид ????
????
, ни их количество ничем не ограничены — главное, чтобы функции в базисе были линейно независимы. Обычно, выбор делается исходя из предположений о природе процесса, который мы моделируем.
Если у нас есть основания полагать, что точки {(????
1
, ????
1
, ⋯ , ????
????
, ????
????
)} ложатся на параболу, а не на прямую, то стоит выбрать базис (1, ????, ????
2
). Количество базисных функций может быть как меньшим, так и большим, чем количество изначальных фич. Если определились с базисом, то дальше формируем матрицу информации записываем функцию потерь и находим её минимум, например с помощью псевдообратной матрицы или другим методом.
Глава 2. Использование линейной регрессии в евклидовом пространстве

Задача трехмерной линейной регрессии - это задача нахождения пространственной прямой линии, наилучшим образом соответствующей группе точек в трехмерном евклидовом пространстве. В данной работе рассматривается эта задача и дается ее решение в свободной от координат форм.
Задача линейной регрессии в двумерном случае (т.е. на плоскости) обычно возникает при аппроксимации экспериментальных данных линейной функцией (см. [1]).
Ее решение методом наименьших квадратов было впервые опубликовано Лежандром в
1805 году (см. [2]). В неопубликованной форме метод наименьших квадратов приписывается Карлу Фридриху Гауссу 1795 года. Его работа была опубликована только в 1809 году (см. [3]).
Существуют различные задачи подгонки в трехмерном евклидовом пространстве
(см. задачи подгонки плоскости, окружности и эллипса в [4] и [5], см. задачу подгонки эллипсоида в [6] и [7]).
Задача линейной регрессии в трехмерном случае - это задача проблема наилучшего соответствия некоторой прямой линии группе точек в трехмерном евклидовом пространстве. Решение этой задачи дано Жаном Жакленом в [8]. Его метод в значительной степени основан на прямых вычислениях с использованием координат.
2.1 Параметрические и непараметрические векторные уравнения прямой линии.
Рассмотрим прямую AX на рисунке 14.
Рисунок 14 – Прямая линия АХ
Точка A является неподвижной точкой этой прямой, ее радиус-вектор равен r0.
Точка X - переменная точка, ее радиус-вектор равен r. Эти два радиус-вектора связаны друг с другом с помощью уравнения

r = r0 + a t, (2.1) где a - некоторый ненулевой вектор на и t - скалярный параметр. Равенство (2.1) называется векторным параметрическим уравнением линии в пространстве (см. [9]).
Выбор точки A на прямой является не является единственным. Поэтому уравнение имеет некоторую степень неоднозначности. Для того чтобы избежать этой двусмысленности непараметрический используются уравнения. Умножим обе стороны равенства на вектор a используя операцию векторного произведения. В результате получим
[r, a] = [r0, a]. (2.2)
Произведение двух постоянных векторов в правой части является постоянным вектор. Если мы обозначим его через b, то получим равенство
[r, a] = b, where b
⊥ a. (2.3)
Равенство (2.3) известно как непараметрическое векторное уравнение линии в пространстве (см. [9]). Заметим, что вектор b = [r0, a] не имеет неоднозначности, возникающей из-за неопределенности в выборе начальной точки A на линии.
Действительно, легко видеть, что b инвариантен относительно преобразования r0 → r0 + a t.
2.3 Изложение проблемы.
Пусть X
1
, . . . , X
n
- группа точек в пространстве, заданном их радиус-векторами r
1
, .
. . , r n
. Задача линейной регрессии заключается в нахождении прямой, заданной уравнением (2.2), такой, что среднеквадратичное значение расстояний d
1
, . . . , d n
от точек
X
1
, . . . , X
n до линии (2.2) имеет минимальное значение:
(3.1)
2.4 Решение проблемы.

Расстояние от точки X
i до прямой (2.1) задается формулой d
i
= |[r i
− r
0
, a]|/|a| (4.1)
Без потери общности мы можем предположить, что
|a| = 1. (4.2)
Затем, принимая во внимание b = [r
0
, a] и (4.2), из (4.1) получаем d
i
= |[r i
, a] - b|. (4.3)
Теперь подставим (4.3) в (3.1). В результате получаем
(4.4)
Формула (4.4) является аналогом формулы (2.3) в [4]. Круглые скобки в
(4.4) обозначают операцию скалярного произведения.
Определение 4.1. Линия, заданная уравнением (2.3) с |a| = 1, называется оптимальной если величина (4.4) принимает минимальное значение.
По линейной регрессии
Правая часть (4.4) является квадратичным многочленом относительно компонент вектора b. Она принимает минимальное значение, если b задано формулой
(4.5)
Подставляя (4.5) обратно в (4.3), получаем
(4.6)
Формула (4.6) является аналогом формулы (2.5) в [4]. Ее правая часть представляет собой квадратичная форма относительно вектора a. Обозначим ее через Q(a, a):
(4.7)
Как и в [4], можно провести некоторую аналогию с механикой, используя тензор инерции.
Однако сейчас мы не будем этого делать. Отметим только, что как и любая квадратичная форма Q(a, a) диагонализируется в некотором ортонормальном базисе,

связанном с ее первичными осями. Введем следующие обозначения, аналогичные (2.6) в
[4]:
(4.8)
Вектор rcm в (4.8) является радиус-вектором центра масс группы точек X1, . . . , Xn, если предположить, что в каждой из этих точек размещены единичные массы.
В терминах (4.8) формула (4.5) записывается в виде b = [rcm, a]. (4.9)
Сравнивая (4.9) с b = [r0, a], приходим к выводу, что оптимальная линия должна проходить через центр масс группы точек. Ее направление определяется нелинейностью формы Q(a, a) согласно следующей теореме.
Теорема 4.1. Прямая является оптимальной среднеквадратичной прямой для группы точек, если и только если она проходит через центр масс этих точек и если ее направление вектора направлено вдоль первичной оси формы нелинейности Q этих точек, соответствующей ее минимальному собственному значению точек, соответствующей ее минимальному собственному значению.

ЗАКЛЮЧЕНИЕ
В своей курсовой работе, я изучила теорию о регрессии, а также её методах, решила задачу, связанную линейной регрессии в трехмерном евклидовом пространстве.
Исходя из сказанного, выяснила, что теорема 4.1 решает задачу линейной регрессии, сформулированную в разделе 3. Ее доказательство очевидно из предшествующего рассмотрения. Практически эта теорема означает, что для того, чтобы найти линию, наилучшим образом соответствующую группе точек в трехмерном евклидовом пространстве, необходимо найти их центр масс и диагонализировать симметричную матрицу матрицу, связанную с их формой нелинейности (4.7). В некоторых случаях эта матрица может иметь два минимальных собственных значения λ1
= λ2 < λ3. В этих случаях форма группы точек напоминает диск и, следовательно, нет предпочтительного направления для оптимальной линии в плоскости этого диска.
Если λ1 = λ2 = λ3, то форма группы точек напоминает шар. В этом случае у нас вообще нет предпочтительного направления для оптимальной линии.
Цель работы на этом достигнута: изучена линейная регрессия в трехмерном пространстве.

Список использованных источников и литературы
1. Линейные наименьшие квадраты, Википедия, Wikimedia Foundation Inc, Сан-
Франциско, США.
2. Legendre A. M., Nouvelles m´ethodes pour la d´etermination des orbites des cometes, F.
Didot, Paris, 1805.
3. Gauss C. F., Theoria motus corporum coelestium in sectionibus conicis solem ambientium,
Perthes & Besser, Hamburg, 1809.
4. Шарипов Р. А., Алгоритмы оптимального расположения точек на плоскости и окружности, e-print arXiv:0705.0350.
5. Gander W., Golub G. H., Strebel R., Least-squares fitting of circles and ellipses, BIT
Numerical Mathematics 34 (1994), no. 4, 558-578.
6. Reza A., Sengupta A. S., Подгонка эллипсоида по наименьшим квадратам с использованием итеративных ортогональных преобразований, e-print arXiv:1704.04877.
7. Anwar R., Hamilton M., Nadolsky P. M., Быстрая эллипсоидная подгонка дискретных многомерных данных, e-print arXiv:1901.05511.
8. Jacquelin J., Regressions et trajectoires en 3D, Онлайн ресурс doc/31477970 на scribd.com,
2002, 2011.
9. Шарипов Р. А., Курс аналитической геометрии, Башкирский государственный университет, Уфа, 2010; см. также arXiv:1111.6521.
10. Основы линейной регрессии - https://habr.com/ru/post/514818/