Файл: Нечеткая логика и нейронные сети.pdf

На рис. 3.1 представлена упрощенная схема искусственного нейрона.

Рис. 3.1. Схема искусственного нейрона

Из схемы видно, что нейрон в целом реализует скалярную функцию векторного аргумента. Математически функция нейрона выражается так:

Функционирование нейрона в соответствии с его двумя функциями можно разбить на два такта:

1. В сумматоре вычисляется величина возбуждения, полученного нейроном: S = Σ w_jx_j (для простоты смещение w₀ в этом выражении не учитывается).
2. Возбуждение S пропускается через преобразующую (активационную) функцию f, в результате чего формируется выходной сигнал Y.

Функция активации ограничивает амплитуду выходного сигнала нейрона. Обычно нормализованный диапазон амплитуд выходного сигнала нейрона лежит в интервале (0, 1) или (-1, 1).

Кроме того, в схему искусственного нейрона обычно включается пороговый элемент W_П, который определяет увеличение или уменьшение входного сигнала, подаваемого на блок функции активации [10].

Наиболее часто используются следующие функции активации:

• пороговая функция;
• линейная функция;
• сигмоидная функция;
• функция типа гиперболический тангенс.

1. Пороговая функция: f(х)=

где θ — порог срабатывания нейрона.

График пороговой функции изображен на рисунке 3.2 (на этом и последующих рисунках условно принято: x = S; θ = 0).

Рис. 3.2. График пороговой функции

1. Линейная функция активации, имеет вид: с ограничениями сверху и снизу по величине f (рис. 3.3).

Рис. 3.3. График линейной функции активации

1. Сигмоидная функция. Функция называется сигмоидной, если она ограничена по минимальному и максимальному значениям и имеет везде положительную производную. Кроме этого предполагается, что функция быстро сходится к верхнему пределу при s →+∞ и к нижнему при s →-∞. Выражение для этой функции: f(x) = где а > 0 — параметр наклона кривой. При изменении этого параметра можно строить функции с разной крутизной. Но всегда: 0 < f ( x ) <1. 1. График этой функции дан на рисунке 3.4.

Рис. 3.4. Сигмоидная функция

График сигмоидной функции качественно близок к виду передаточной характеристики биологического нейрона. Сигмоидная функция приближается к ступенчатой с порогом θ = 0 при a →+ ∞. Очевидно, пороговая функция более удобна при аппаратной реализации нейрона, тогда как сигмоидная функция предпочтительна в аналитических исследованиях, поскольку она монотонна, всюду дифференцируема и имеет непрерывные производные любого порядка. Соответственно, эту функцию удобно использовать при обучении нейронной сети методом обратного распространения ошибки.

4. Гиперболический тангенс f (s) = th (a٠s) = , -1<f(s)<1. Свойство нечетности тангенса, а также то, что f (0) = 0, иногда оказывается очень удобным. График этой функции дан на рисунке 3.5.

Рис. 3.5. Гиперболический тангенс

Таким образом, искусственный нейрон характеризуется вектором весовых множителей и параметрами преобразующей функции. Нейрон способен получать сигналы и в зависимости от их интенсивности а также от собственных характеристик выдавать выходной сигнал. При этом если выходной сигнал нейрона близок к единице, то считается, что нейрон возбужден [4], [10].

Выводы по главе

Искусственный нейрон состоит из элементов 3-х типов и выполняет всего 2 функции, реализуя их в двух тактах своей работы. Однако благодаря различным видам функции активации и величине порогового сигнала нейрон может получать разные свойства.

Глава 4. Виды искусственных нейронных сетей

Существует много способов организации искусственных нейронных сетей, которые могут содержать различное число слоев нейронов. Нейроны могут быть связаны как внутри отдельных слоев, так и между слоями. В зависимости от направления связи могут быть прямыми или обратными.

Слой нейронов, принимающий информацию непосредственно из окружающей среды, называется входным слоем, а слой, передающий информацию во внешнюю среду – выходным слоем. Любой слой, лежащий между ними называется промежуточным.

В принципе, сети разделяют на однослойные и многослойные [10].

Однослойная нейронная сеть – сеть, в которой сигналы от входного слоя сразу подаются на выходной слой, который преобразует сигнал и в результате выдает ответ.

Многослойная нейронная сеть – нейронная сеть, состоящая из входного, выходного и расположенного между ними одного или нескольких скрытых слоев нейронов.

Сети также подразделяются на сети прямого распространения и сети с обратными связями.

Сети прямого распространения – искусственные нейронные сети, в которых сигнал распространяется строго от входного слоя к выходному. В обратном направлении сигнал не распространяется.

Сети с обратными связями – искусственные нейронные сети, в которых выходной сигнал нейрона может вновь подаваться на его вход. В более общем случае это означает возможность распространения сигнала от выходов к входам. Следовательно, в этом случае выходной сигнал какого-нибудь нейрона определяется не только его весами и входным сигналом, но еще и предыдущими выходами (так как они снова вернулись на входы).

Далее представлены простые структурные схемы нейронных сетей [10]:

1. Однослойная структура с обратной связью (рисунок 4.1)
2. Двухслойная структура с прямыми связями (рисунок 4.2).

3. Двухслойная структура с обратной связью (рисунок 4.3).

.

Рис. 4.1. Однослойная структура с обратной связью

В однослойной структуре с обратной связью входные сигналы поступают на нейроны а₁, а₂, … а_n и с них же передаются дальше, причем каждый нейрон окружен обратной связью.

Рис. 4.2. Двухслойная структура с прямыми связями

В двухслойной структуре с прямыми связями имеется 2 слоя: первый – входной а₁, а₂, а₃; второй – выходной b₁, b₂, b₃. Обратные связи отсутствуют.

В двухслойной структуре с обратной связью (рис. 4.3), как и в предыдущем примере, имеется 2 слоя, но есть обратная связь от нейрона из входного слоя b₂ к нейрону а₂, входящему в выходной слой.

Рис. 4.3. Двухслойная структура с обратной связью

Трехслойная структура с линейной связью (рисунок 4.4) имеет входной слой а₁, а₂, а₃ и выходной слой с₁, с₂, с₃, а также промежуточный слой b₁, b₂, b₃. Обратные связи отсутствуют.

Рис. 4.4. Трехслойная структура с линейной связью

Возможны и другие структурные схемы, являющиеся разнообразными комбинациями перечисленных выше схем.

Для примера на рисунке 4.5 показана общая схема сложного устройства, выполненного по принципам нейронных сетей и предназначенного для контроля технического состояния самолета [4]. Входные нейроны получают информацию от датчиков, установленных на борту самолета. Выходной нейрон является индикатором технического состояния самолета.

Структура связей отражает детали конструкции сети, а именно, какие элементы соединены, в каком направлении работают соединения и каков вес каждого из них. Задача, которую понимает сеть, описывается в терминах весовых значений связей, связывающих элементы. Структура связей обычно

Рис. 4.5. Упрощенная схема контроля технического состояния самолета

определяется в 2 этапа: сначала разработчик системы указывает, какие элементы должны быть связаны и в каком направлении. Затем в процессе фазы обучения определяются значения соответствующих весовых коэффициентов. Таким образом, важнейшим этапом разработки нейронных сетей является их обучение.

Правильный выбор структурной схемы важен и в таком направлении нейронных сетей, как нейрокомпьютеры [3]. В этом случае используют в том числе и многослойные нейронные сети с переменной структурой [3].

Выводы по главе

От способов организации искусственных нейронных сетей, от количества слоев, наличия обратных связей зависят свойства сетей. Разнообразные структуры нейронных сетей обеспечивают разнообразие функций и задач, выполняемых этими сетями.

Глава 5. Обучение нейронных сетей

Самым важным свойством нейронных сетей является их способность обучаться на основе данных окружающей среды и в результате обучения повышать свою производительность. Повышение производительности происходит со временем в соответствии с определенными правилами. Обучение нейронной сети происходит посредством интерактивного процесса корректировки синаптических весов и поро­гов. В идеальном случае нейронная сеть получает знания об окружающей среде на каждой итерации процесса обучения [4].

С понятием обучения ассоциируется довольно много видов деятельности, поэтому сложно дать этому процессу однозначное определение. Более того, процесс обучения зависит от точки зрения на него. Именно это делает практически невозможным появ­ление какого-либо точного определения этого понятия. Например, процесс обучения с точки зрения психолога в корне отличается от обучения с точки зрения школьного учителя. С позиций нейронной сети мы можем использовать следующее определение, приведенное в [10].

Обучение — это процесс, в котором свободные параметры нейронной сети настра­иваются посредством моделирования среды, в которую эта сеть встроена. Тип обу­чения определяется способом подстройки этих параметров.

Это определение процесса обучения предполагает следующую последователь­ность событий.

1. В нейронную сеть поступают стимулы из внешней среды.
2. В результате этого изменяются свободные параметры нейронной сети.
3. После изменения внутренней структуры нейронная сеть отвечает на возбуждения уже иным образом.

Вышеуказанный список четких правил решения проблемы обучения называется алгоритмами обучения.^. Понятно, что не существу­ет универсального алгоритма обучения, подходящего для всех архитектур нейронных сетей. Существует лишь набор средств, представленный множеством алгоритмов обу­чения, каждый из которых имеет свои достоинства. Алгоритмы обучения отличаются друг от друга способом настройки синаптических весов нейронов. Еще одной отли­чительной характеристикой является способ связи обучаемой нейросети с внешним миром. В этом контексте говорят о парадигме обучения, связанной с моделью окружающей среды, в которой функционирует данная нейронная сеть [10].

Проще говоря, цель обучения нейронной сети состоит в её настройке на заданное поведение. Один из подходов к к этому процессу заключается в обучении сети путем настройки значений весовых коэффициентов w_j. Матрица весовых коэффициентов w_j сети называется синаптической картой. Существует 2 вида обучения :

• обучение с учителем
• обучение без учителя.

5.1. Обучение с учителем

Рассмотрим возможные подходы к обучению нейронных сетей. Начнем с парадигмы обучения с учителем. На рисунке 5.1 показана блок-схема, иллюстриру­ющая эту форму обучения.

Концептуально участие учителя можно рассматривать как наличие знаний об окружающей среде, представленных в виде пар вход-выход. При этом сама среда неизвестна обучаемой нейронной сети. Теперь предположим, что учителю и обучаемой сети подается обучающий вектор из окружающей среды. На основе встроенных знаний учитель может сформировать и передать обучаемой ней­ронной сети желаемый отклик, соответствующий данному входному вектору. Этот желаемый результат представляет собой оптимальные действия, которые должна вы­полнить нейронная сеть. Параметры сети корректируются с учетом обучающего век­тора и сигнала ошибки.

Сигнал ошибки — это разность между желаемым сигналом и текущим откликом нейронной сети.

Рис. 5.1

Корректировка параметров выполня­ется пошагово с целью имитации нейронной сетью поведения учителя. Эта имитация в некотором статистическом смысле должна быть оптимальной. Та­ким образом, в процессе обучения знания учителя передаются в сеть в максимально полном объеме. После окончания обучения учителя можно отключить и позволить нейронной сети работать со средой самостоятельно [3].

Описанную форму обучения с учителем можно охарактеризовать, как обучение на основе коррекции ошибок. Это замкнутая система с обратной связью, которая не включает в себя окружающую среду. Производительность такой системы можно оценивать в терминах среднеквадратической ошибки или сум­мы квадратов ошибок на обучающей выборке, представленной в виде функции от свободных параметров системы. Для такой функции можно построить многомерную поверхность ошибки в координатах свободных параметров. При этом реальная поверхность ошибки усредняется по всем возможным повторностям, представленным в виде пар "вход-выход". Любое конкретное действие системы с учителем представляется одной точкой на поверхности ошибок. Для повышения про­изводительности системы во времени значение ошибки должно смещаться в сторону минимума на поверхности ошибок. Этот минимум может быть как локальным, так и глобальным. Это можно сделать, если система обладает полезной информацией о гра­диенте поверхности ошибок, соответствующем текущему поведению системы. Гра­диент поверхности ошибок в любой точке — это вектор, определяющий направление наискорейшего спуска по этой поверхности. В случае обучения с учителем на приме­рах вычисляется моментальная оценка вектора градиента, в которой входной вектор считается функцией времени. При использовании результатов такой оценки перемещение точки по поверхности ошибок обычно имеет вид "слу­чайного блуждания". Тем не менее при использовании соответствующего алгоритма минимизации функции невязки, адекватном наборе обучающих примеров в форме "вход-выход" и достаточном времени для обучения системы обучения с учителем спо­собны решать такие задачи, как классификация образов и аппроксимация функций.