Файл: Сахарова Людмила Викторовна, Лукьянова Галина Викторовна Методы оптиизации для машинного обучения учебное пособие.doc
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 06.12.2023
Просмотров: 934
Скачиваний: 18
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
СОДЕРЖАНИЕ
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ В ОПТИМИЗАЦИИ
1.1. ОПРЕДЕЛЕНИЕ ГРАНИЦ ОБЪЕКТА ОПТИМИЗАЦИИ
1.3. ОПРЕДЕЛЕНИЕ ОГРАНИЧЕНИЙ НА УПРАВЛЯЕМЫЕ ПЕРЕМЕННЫЕ
1.4. ВЫБОР ЧИСЛОВОГО КРИТЕРИЯ ОПТИМИЗАЦИИ
1.5. ФОРМУЛИРОВКА МАТЕМАТИЧЕСКОЙ ЗАДАЧИ ОПТИМИЗАЦИИ
ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧ ОДНОМЕРНОЙ ОПТИМИЗАЦИИ
МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ
3.2. ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ
3.3. ОБЩИЕ ПРИНЦИПЫ n–МЕРНОЙ МИНИМИЗАЦИИ
3.5. МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ, ИСПОЛЬЗУЮЩИЕ ПРОИЗВОДНЫЕ ФУНКЦИИ
Министерство образования и науки Российской ФедерацииФедеральное государственное бюджетное образовательное учреждение высшего профессионального образования«Ростовский государственный экономический университет (РИНХ)»методы оптимизациидля машинного обученияУЧЕБНОЕ ПОСОБИЕРостов-на-Дону2023 г.УДК ББК Составители: Сахарова Людмила Викторовна, Лукьянова Галина ВикторовнаМетоды оптиизации для машинного обучения: учебное пособие / Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Ростовский государственный экономический университет (РИНХ)» – Ростов-на-Дону: Издательско-полиграфический комплекс РГЭУ (РИНХ) , 2023 - 83 с.Учебное пособие содержит обзор теории, а также задачи для решения по разделам «Математическое моделирование в оптимизации», «Численные методы решения задач одномерной оптимизации» и «Методы безусловной оптимизации функции многих переменных».Пособие предназначен для проведения занятий дисциплины «Методы оптимизации для машинного обучения» для бакалавров дневного и заочного отделения подготовки направления «Математическое и программное обеспечение систем искусственного интеллекта».Печатается по решению кафедры фундаментальной и прикладной математики ФБГОУ ВПО «Ростовский государственный экономический университет (РИНХ)»УДК Сахарова Л.В., Лукьянова Г.В. 2023ПредисловиеНастоящее пособие соответствует рабочей программе дисциплины «Методы оптимизации для машинного обучения» для бакалавров дневного и заочного отделения подготовки направления «Математическое и программное обеспечение систем искусственного интеллекта». Оно содержит обзор теории, а также задачи для решения по разделам «Математическое моделирование в оптимизации», «Численные методы решения задач одномерной оптимизации» и «Методы безусловной оптимизации функции многих переменных».Раздел «Математическое моделирование в оптимизации» является кратким обзором основных понятий теории оптимизации, а также основных этапов построения соответствующих математических моделей.
Раздел «Численнные методы решения задач одномерной оптимизации» содержит описание основных понятий теории оптимизации функции одной переменной, а также простейших численных методов поиска минимума фунции (т.н. прямых методов): метода перебора, метода исключения отрезков, метода парабол.Раздел «Методы безусловной оптимизации функции многих переменных» содержит основные понятия теории функций многих переменных, необходимых для понимания принципов n – мерной оптимизации; формулировку этих принципов; описание алгоритмов прямых методов безусловной оптимизации: минимизации по правильному симплксу, поиска точки минимума по деформируемому симплексу, метода циклического покоординатного спуска, алгоритма Хука-Дживса, методов случайного поиска, метода сопряженных направлений; методов безусловной оптимизации, использующих производные функций: метода градиентного спуска, метода наискорейшего спуска, метода сопряженных градиентов, метода Ньютона, квазиньютоновских методов.Нумерация задач самостоятельна в каждом параграфе. Символика и терминология соответствуют учебным пособиям, рекомендуемым программой курса дисциплины «Методы оптимизации для машинного обучения».ОГЛАВЛЕНИЕГлава 1.МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИИ В ОПТИМИЗАЦИИ 51.1. Определение границ объекта оптимизации 51.2. Выбор управляемых переменных 61.3. Определение ограничений на управляемые переменные 61.4. Выбор числового критерия оптимизации 71.5. Формулировка математической задачи оптимизации 8Глава 2.ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧ ОДНОМЕРНОЙ ОПТИМИЗАЦИИ 82.1. Предварительные сведения 92.1.1. Минимум функции одной переменной . 92.1.2. Унимодальные функции . 102.1.3. Выпуклые функции 112.1.4. Условие Липшица 132.1.5. Классическая минимизация функции одной переменной 152.2. Прямые методы 162.2.1. Метод перебора 162.2.2. Методы исключения отрезков 182.2.3. Метод парабол 26Глава 3МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ 30
3.1. Предварительные сведения 303.1.1. Основные понятия линейной алгебры 303.1.2. Минимум функции многих переменных 333.1.3. Дифференцируемые функции многих переменных 343.1.4. Необходимые и достаточные условия минимума дифференцируемой функции 35Упражнения 363.2. Выпуклые множества и выпуклые функции 373.2.1. Свойства выпуклых функций 373.2.2. Выпуклые квадратичные функции 41Упражнения 433.3. Общие методы n–мерной минимизации 43Упражнения 473.4. Прямые методы безусловной минимизации 473.4.1. Минимизация по правильному симплексу 483.4.2 Поиск точки минимума по деформируемому симплексу 503.4.3. Метод циклического покоординатного спуска 523.4.4. Алгоритм Хука– Дживса 543.4.5. Методы случайного поиска 553.4.6. Метол сопряженных направлений 57Упражнения 613.5. Методы безусловной минимизации, использующие производные функции 623.5.1. Метод градиентного спуска 633.5.2. Метод наискорейшего спуска 653.5.3. Метод сопряженных градиентов 663.5.4. Метол Ньютона 693.5.5. Квазиньютоновские методы 71Упражнения 74Библиографический список 76
Например, при оптимизации работы одного из цехов предприятия в некоторых случаях можно пренебречь влиянием особенностей функционирования других цехов, систем снабжения и сбыта всего предприятия, его взаимодействием с другими организациями, конъюнктурой рынка и многими другими факторами. Тогда цех будет рассматриваться как изолированная система, а его связи с внешним миром либо считаются зафиксированными, либо вовсе не учитываются.Может оказаться, что первоначальные границы объекта оптимизации выбраны неудачно. Это становится ясным при дальнейшем анализе системы и ее математической модели, при интерпретации результатов поиска оптимального решения, сопоставлении их с практикой и т.д.Тогда в одних случаях границы системы следует расширить, а в других – сузить. Например, если выясняется, что влияние на работу исследуемого цеха других подразделений предприятия нельзя игнорировать при ее оптимизации, то необходимо включить в систему и эти подразделения. С другой стороны, может оказаться, что сам цех состоит из нескольких в большой степени независимо работающих участков, которые без значительного упрощения реальной ситуации можно рассматривать изолированно. Тогда для облегчения поиска оптимального решения разумно исследовать каждый участок как отдельную систему.В инженерной практике следует, насколько возможно, стремиться упрощать системы, подлежащие оптимизации, разбивать сложные системы на более простые подсистемы, если есть уверенность, что это повлияет на окончательный результат в допустимых пределах.
Раздел «Численнные методы решения задач одномерной оптимизации» содержит описание основных понятий теории оптимизации функции одной переменной, а также простейших численных методов поиска минимума фунции (т.н. прямых методов): метода перебора, метода исключения отрезков, метода парабол.Раздел «Методы безусловной оптимизации функции многих переменных» содержит основные понятия теории функций многих переменных, необходимых для понимания принципов n – мерной оптимизации; формулировку этих принципов; описание алгоритмов прямых методов безусловной оптимизации: минимизации по правильному симплксу, поиска точки минимума по деформируемому симплексу, метода циклического покоординатного спуска, алгоритма Хука-Дживса, методов случайного поиска, метода сопряженных направлений; методов безусловной оптимизации, использующих производные функций: метода градиентного спуска, метода наискорейшего спуска, метода сопряженных градиентов, метода Ньютона, квазиньютоновских методов.Нумерация задач самостоятельна в каждом параграфе. Символика и терминология соответствуют учебным пособиям, рекомендуемым программой курса дисциплины «Методы оптимизации для машинного обучения».ОГЛАВЛЕНИЕГлава 1.МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИИ В ОПТИМИЗАЦИИ 51.1. Определение границ объекта оптимизации 51.2. Выбор управляемых переменных 61.3. Определение ограничений на управляемые переменные 61.4. Выбор числового критерия оптимизации 71.5. Формулировка математической задачи оптимизации 8Глава 2.ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧ ОДНОМЕРНОЙ ОПТИМИЗАЦИИ 82.1. Предварительные сведения 92.1.1. Минимум функции одной переменной . 92.1.2. Унимодальные функции . 102.1.3. Выпуклые функции 112.1.4. Условие Липшица 132.1.5. Классическая минимизация функции одной переменной 152.2. Прямые методы 162.2.1. Метод перебора 162.2.2. Методы исключения отрезков 182.2.3. Метод парабол 26Глава 3МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ 30
3.1. Предварительные сведения 303.1.1. Основные понятия линейной алгебры 303.1.2. Минимум функции многих переменных 333.1.3. Дифференцируемые функции многих переменных 343.1.4. Необходимые и достаточные условия минимума дифференцируемой функции 35Упражнения 363.2. Выпуклые множества и выпуклые функции 373.2.1. Свойства выпуклых функций 373.2.2. Выпуклые квадратичные функции 41Упражнения 433.3. Общие методы n–мерной минимизации 43Упражнения 473.4. Прямые методы безусловной минимизации 473.4.1. Минимизация по правильному симплексу 483.4.2 Поиск точки минимума по деформируемому симплексу 503.4.3. Метод циклического покоординатного спуска 523.4.4. Алгоритм Хука– Дживса 543.4.5. Методы случайного поиска 553.4.6. Метол сопряженных направлений 57Упражнения 613.5. Методы безусловной минимизации, использующие производные функции 623.5.1. Метод градиентного спуска 633.5.2. Метод наискорейшего спуска 653.5.3. Метод сопряженных градиентов 663.5.4. Метол Ньютона 693.5.5. Квазиньютоновские методы 71Упражнения 74Библиографический список 76
Глава 1
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ В ОПТИМИЗАЦИИ
Оптимизация – это выбор наилучшего решения. Математическая теория оптимизации включает в себя фундаментальные результаты и численные методы, позволяющие находить наилучший вариант из множества возможных альтернатив без их полного перебора и сравнения.Для того чтобы использовать результаты и вычислительные процедуры теории оптимизации на практике, необходимо, прежде всего, сформулировать рассматриваемую задачу на математическом языке, т.е. построить математическую модель объекта оптимизации. Математическая модель – это более или менее полное математическое описание исследуемого процесса или явления.В большинстве реальных ситуаций дать исчерпывающее математическое представление оптимизируемой системы с учетом всех взаимосвязей ее частей, взаимодействий с внешним миром, всех целей ее функционирования бывает затруднительно или невозможно. Поэтому при построении математической модели необходимо, как правило, выделять и учитывать в дальнейшем только наиболее важные, существенные стороны исследуемого объекта с тем, чтобы было возможным его математическое описание, а также последующее решение поставленной математической задачи. При этом неучтенные в математической модели факторы не должны существенно влиять на окончательный результат оптимизации. Таким образом, математическое моделирование является сложной и ответственной творческой задачей, требующей от исследователя глубоких знаний в соответствующей области, практического опыта, интуиции и критического анализа получаемых результатов.Несмотря на то, что общего рецепта построения математических моделей оптимизации не существует, можно условно разбить процесс математического моделирования на следующие основные этапы.1.1. ОПРЕДЕЛЕНИЕ ГРАНИЦ ОБЪЕКТА ОПТИМИЗАЦИИ
Необходимость этого этапа диктуется невозможностью учета и исчерпывающего описания всех сторон большинства реальных систем. Выделив главные переменные, параметры и ограничения, следует приближенно представить систему как некоторую изолированную часть реального мира и упростить ее внутреннюю структуру.Например, при оптимизации работы одного из цехов предприятия в некоторых случаях можно пренебречь влиянием особенностей функционирования других цехов, систем снабжения и сбыта всего предприятия, его взаимодействием с другими организациями, конъюнктурой рынка и многими другими факторами. Тогда цех будет рассматриваться как изолированная система, а его связи с внешним миром либо считаются зафиксированными, либо вовсе не учитываются.Может оказаться, что первоначальные границы объекта оптимизации выбраны неудачно. Это становится ясным при дальнейшем анализе системы и ее математической модели, при интерпретации результатов поиска оптимального решения, сопоставлении их с практикой и т.д.Тогда в одних случаях границы системы следует расширить, а в других – сузить. Например, если выясняется, что влияние на работу исследуемого цеха других подразделений предприятия нельзя игнорировать при ее оптимизации, то необходимо включить в систему и эти подразделения. С другой стороны, может оказаться, что сам цех состоит из нескольких в большой степени независимо работающих участков, которые без значительного упрощения реальной ситуации можно рассматривать изолированно. Тогда для облегчения поиска оптимального решения разумно исследовать каждый участок как отдельную систему.В инженерной практике следует, насколько возможно, стремиться упрощать системы, подлежащие оптимизации, разбивать сложные системы на более простые подсистемы, если есть уверенность, что это повлияет на окончательный результат в допустимых пределах.
-
ВЫБОР УПРАВЛЯЕМЫХ ПЕРЕМЕННЫХ