Файл: Практикум по дисциплинам Методы искусственного интеллекта в управлении, Интеллектуальное управление сложными объектами.pdf

Входом нейросети является пример Х:
1,
1. Целевые
(желаемые) значения выходов ИНС равны
0,4,
0,25.
Пороговые значения (смещения) для нейронов равны
0,2.
Весовые коэффициенты синаптических связей ИНС w
ij
показаны в табл. 3.1.
Таблица 3.1
Таблица входных значений и весов нейросети
Нейрон
Вход
Нейрон 1
Нейрон 2 1
1 3
1 2
1
Множество весовых коэффициентов в виде матрицы синаптических связей имеет вид:
1 3
2 1
В качестве нелинейного преобразователя используется сигмоидальная функция активации с коэффициентом крутизны
1.
Рассматривается процесс прямого распространения входного примера Х по нейросети.
Взвешенная сумма входных сигналов и выходной сигнал 1-го нейрона равны:
∙
∙
1 ∙ 1 1 ∙ 2 0,2 0,8;
у
1 1
1 1
,
0,31.
Взвешенная сумма входных сигналов и выходной сигнал 2-го нейрона равны:
∙
∙
1 ∙ 3 1 ∙
1 0,2 4,2;
у
1 1
1 1
,
0,985.
Определяются эталонные
(целевые) значения выходов нейросети, преобразованные нелинейной функции возбуждения:
1 1
1 1
,
0,59;
1 1
1 1
,
0,56.

Среднеквадратичная ошибка ИНС (3.7) равна:
1 2
∙ у у
1 2
∙ 0,31 0,59 0,985 0,56 0,129.
3.2. Обучение искусственной нейронной сети методом обратного распространения ошибки
Пример 2. Рассматривается процесс обучения многослойного перспептрона методом обратного распространения ошибки на примере сложения чисел 1+2=3.
В соответствии с условием задачи определяется структура многослойного персептрона (рис. 3.6): ИНС имеет два входа, один выход. Пусть ИНС также содержит дополнительный скрытый слой, состоящий из двух нейронов.
Входом ИНС является вектор
;
1; 2 , а целевое значение выхода нейросети равно
3. Таким образом, обучающее множество для сложения чисел представляет собой примеры, состоящие из двух входов и одного выхода.
Вводятся следующие обозначения:
,
– выходные векторы
1-го (скрытого) и 2-го (выходного) слоев нейросети на t-й итерации обучения; и
– синаптические матрицы весовых коэффициентов 1-го и 2-го слоев на t-й итерации обучения:
0,1 0,2 0,1 0,2 ;
0,2 0,1 .
Нейроны возбуждаются сигмоидальной функцией активации с единичным коэффициентом крутизны
0.
Рис. 3.6. Нейронная сеть с одним скрытым слоем

Обучение нейросети включает следующие этапы:
1) осуществляется прямое распространение входного примера по
ИНС (прямой проход, первая итерация
1); 2) определяется среднеквадратичная ошибка нейросети; 3) проводится корректировка коэффициентов синаптических связей в направлении, обратном прямому распространению входных сигналов (обратный проход);
4) рассчитывается выход нейросети путем прямого распространения входного примера по ИНС (прямой проход, вторая итерация
2);
5) определяется среднеквадратичная ошибка нейросети; уменьшение ошибки будет свидетельствовать о том, что обучение сети прошло успешно.
1 итерация, первый прямой проход
Шаг 1.Осуществляется прямое распространения входного примера по ИНС.
Рассчитывается вектор взвешенных входов нейронов 1-го скрытого слоя:
;
∙
1; 2 ∙
0,1 0,2 0,1 0,2 0,3; 0,6 .
Выход скрытого слоя ИНС
, преобразованный функцией активации, равен:
;
;
;
0,3 ; 0,6 1
1
,
;
1 1
,
0,574; 0,646 .
Для дальнейшего распространения входного примера выходной вектор скрытого слоя принимают в качестве входного вектора следующего
(выходного) слоя нейронов
, т.е.
,
. Тогда вектор взвешенных входов нейронов второго (выходного) слоя равен:
;
∙
0,574; 0,646 ∙
0,2 0,1 0,179.
Выход нейросети равен:
0,179 1
1
,
0,545.
Шаг 2. Определениесреднеквадратичной ошибки ИНС.
Целевое (желаемое) значение ИНС
3, преобразованное нелинейной функцией возбуждения для обучающего примера, равно:
3 0,953.

Среднеквадратичная ошибка (3.7) на первой итерации работы нейросети равна:
∙
∙ 0,545 0,953 0,083.
Поскольку желаемые и фактические значения выходов ИНС
не совпадают, необходима коррекция (адаптация) весовых коэффициентов синаптических связей нейросети.
1 итерация, обратный проход
Шаг 3. Коррекция коэффициентов синаптических связей в направлении, обратном прямому распространению входных сигналов.
Проводится анализ влияния изменения весовых коэффициентов связей на величину среднеквадратичной ошибки нейронной сети, начиная с выходного слоя сети и по направлению к входу:
Шаг 3.1. Определение скорости изменения ошибки нейросети при изменении значения нейрона выходного (второго) слоя через производную функции ошибки:
=
0,545 0,953 0,407.
Поскольку скорость изменения ошибки имеет отрицательный знак, то целью обучения нейросети является увеличение значения ее выхода
Шаг 3.2. Расчет чувствительности изменения ошибки нейросети при изменении средневзвешенного входа выходного слоя путем нахождения произведения скорости изменения ошибки при изменении выхода сети и скорости изменения выходного нейрона:
∙
∙
∙
∙ 1
;
0,407 ∙ 0,545 ∙ 1 0,545 0,101.
Значение показывает, что скорость изменения ошибки нейросети при изменении средневзвешенного входа выходного нейрона существенно ниже скорости реакции ИНС на изменение ее выхода.
При обратном продвижении ко входу определяется влияние каждого из входных нейронов выходного слоя на ошибку нейросети:
∙
∙
∙

Для рассматриваемой нейронной сети вектор значений для корректировки синаптической матрицы второго (выходного) слоя
ИНС
равен:
;
Т
;
Т
∙
;
∙
Т
;
0,101 ∙ 0,574; 0,101 ∙ 0,646
Т
0,058; 0,065
Т
, где выражение
T
b
a ]
;
[
является результатом транспонирования матрицы.
Шаг 3.3.
Определяется скорость изменения ошибки нейросети при изменении активности нейронов скрытого слоя:
∙
∙
;
0,101 ∙ 0,2; 0,101 ∙ 0,1 0,020; 0,010 .
Шаг 3.4.
Расчет весовых коэффициентов синаптической матрицы скрытого (первого) слоя
:
∙
∙
∙
∙
∙
∙ 1
∙
∙
∙ 1
∙
∙
∙ 1
∙
∙
∙ 1
∙
;
0,02 ∙ 0,574 ∙ 1 0,574 ∙ 1 0,01 ∙ 0,646 ∙ 1 0,646 ∙ 1 0,02 ∙ 0,574 ∙ 1 0,574 ∙ 2 0,01 ∙ 0,646 ∙ 1 0,646 ∙ 2 0,005 0,002 0,010 0,004 .
Шаг 3.5. Корректировка весов синаптической матрицы скры- того слоя с учетом, что скорость обучения равна единице (
1 :
0,1 0,2 0,1 0,2 0,005 0,002 0,010 0,004 0,105 0,202 0,110 0,204 .
Корректировка значений весовых коэффициентов нейронов выходного слоя:
0,2 0,1 0,058 0,065 0,258 0,165 .
2 итерация
Шаг 4. Прямое распространения входного примера по ИНС
(второй прямой проход).
Второй прямой проход выполняется с целью определения качества обучения нейронной сети, то есть насколько ИНС близка к поставленной цели – правильному суммированию цифр 1 и 2.

Вектор взвешенных входов и выходов нейронов скрытого слоя равны:
;
∙
;
;
;
;
1; 2 ∙
0,105 0,202 0,110 0,204 0,325; 0,610 .
0,325 ; 0,61 1
1
,
;
1 1
,
0,581; 0,648 .
Вектор взвешенных входов и выходов нейронов выходного слоя:
;
∙
0,581; 0,648 ∙
0,258 0,165 0,257.
Выход нейросети:
0,257
,
0,564.
Шаг 5. Определениесреднеквадратичной ошибки ИНС.
Целевое (желаемое) значение ИНС
3, преобразованное нелинейной функцией возбуждения для обучающего примера, равно:
Среднеквадратичная ошибка ИНС на второй итерации работы нейросети равна:
∙
∙ 0,564 0,953 0,076.
Сравнение среднеквадратичных ошибок ИНС, определенных на
1-й и 2-й итерациях обучения ИНС, позволяет сделать вывод о том, что обучение ИНС было успешным: ИНС уже более точно выполняет свою функцию, так как среднеквадратичная ошибка ИНС уменьшилась с 0,083 до 0,076.

При решении задачи выполнить 2 итерации: на первой итерации определить выход нейронной сети путем распространения входного примера по ИНС; определить среднеквадратичную ошибку нейросети; затем провести корректировку коэффициентов синапти- ческих связей в направлении, обратном прямому распространению входных сигналов; на второй итерации вновь рассчитать выход нейросети путем прямого распространения входного примера по
ИНС и определить среднеквадратичную ошибку нейросети. Сделать вывод о качестве обучения ИНС по уменьшению ошибки.
Требования к содержанию и оформлению отчета
Отчет по практической работе должен содержать:
1. Название, цель работы, исходные данные варианта задания.
2. Ход решения задачи прямого распространения входного примера по искусственной нейронной сети; найденная среднеквадратичная ошибка.
3. Ход решения задачи обучения нейронной сети методом обратного распространения ошибки. Выполненные две итерации обучения нейронной сети; по каждой итерации представить результаты распространения входного примера по
ИНС; рассчитанные среднеквадратичные ошибки; показать результаты корректировки коэффициентов синаптических связей. Вывод о качестве обучения ИНС по уменьшению ошибки.
4. Выводы по выполненной работе.
Варианты заданий
Задание 1
Вариант 1
Вариант 2

Вариант 3
Вариант 4
Вариант 5
Вариант 6
Вариант 7
Вариант 8
Вариант 9
Вариант 10

Задание 2
Вариант 1
Вариант 2
Вариант 3
Вариант 4
Вариант 5
Вариант 6

Вариант 7
Вариант 8
Вариант 9
Вариант 10
Контрольные вопросы и задания
1. Какие существуют парадигмы обучения нейронных сетей?
2. Что представляет собой модель искусственного нейрона?
3. Чем отличаются пороговая и сигмоидальная функция активации?
4. В чем заключается алгоритм обратного распространения ошибки?
5. Запишите выражение для коррекции весовых коэффициентов нейронной сети.

Список литературы
1. Хайкин С. Нейронные сети: полный курс, 2-e изд.: Пер. с анrл.
М. Издательский дом «Вильямс», 2006. 1104 с.
2. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям: учеб. пособие. 2-е изд., перераб. и доп. СПб.: Питер, 2010.
704 с.
3. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы = Sieci neuronowe algorytmy genetyczne i systemy rozmyte / Д. Рутковская, М. Пилиньский, Л. Рутковский; пер. с польск. И. Д. Рудинского. М.: Горячая линия-Телеком, 2008. 383 с.
4. Круглов В.
Искусственные нейронные сети. Теория и практика / В. В. Круглов, В. В. Борисов. 2-е изд. М.: Горячая линия-
Телеком, 2002. 382 с.
5. Матвеев М. Г. Модели и методы искусственного интеллекта.
Применение в экономике: учеб. пособие / М. Г. Матвеев,
А. С. Свиридов, Н. А. Алейникова. М.: Финансы и статистика:
ИНФРА-М, 2008. 446 с.
6. Анализ данных и процессов: учеб. пособие / А. А. Барсегян,
М.С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. 3-е изд., перераб. и доп. СПб.: БХВ-Петербург, 2009. 512 с.
7. Васильев В. И., Ильясов Б. Г. Интеллектуальные системы управления. Теория и практика: учебное пособие. М.: Радиотехника,
2009. 392 с.
8. Ростовцев В. С. Искусственные нейронные сети: учебник /
В.С. Ростовцев. СПб.: Лань, 2019. 216 с.

Практическая работа № 4
ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ БЕЗ УЧИТЕЛЯ.
СЕТИ КОХОНЕНА
1. Цель и задачи работы
Целью работы является закрепление знаний об обучении искусственных нейронных сетей без учителя, приобретение навыков применения алгоритма самоорганизующегося обучения.
Задачами работы являются приобретение умений проектирования сети Кохонена, навыков выполнения процедуры нейросетевой кластеризации на основе алгоритма WTA и определения принадлежности входных примеров заданным кластерам.
2. Теоретические сведения
2.1. Обучение сетей Кохонена
Парадигма обучения нейронных сетей без учителя (unsupervised
learning) своим названием подчеркивает отсутствие внешнего учителя, контролирующего процесс настройки весовых коэффициен- тов синаптических связей между нейронами ИНС. Данная парадигма предполагает отсутствие маркированных примеров с эталонными выходными значениями для входных векторов, по которым проводится обучение.
Целью алгоритмов без учителя, или алгоритмов самоорганизующегося обучения, является выявление в множестве входных данных существенных образов или признаков без участия учителя. Для этого алгоритм реализует множество правил вычисления отображения входного сигнала на входной с требуемыми свойствами.
Одной из моделей нейронных сетей, обучаемых на основе принципа самоорганизации, являются нейронные сети Кохонена –
прямонаправленные нейронные сети, основанные на конкурентом обучении. Сети Кохонена представляют собой разновидность
самоорганизующихся карт признаков (Self-organizing map – SOM), предложенных финским исследователем
Тойво
Кохоненом, и используются для решения задач кластеризации.