Файл: Нечеткая логика и нейронные сети.pdf

Современный искусственный нейрон (рис.3.2) практически не отличается от описанного Уорреном Мак-Каллоком и Уолтером Питтсом. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга. Синапсы осуществляют связь между нейронами, при получении входной сигнал умножают на число, характеризующее силу связи – вес синапса. Сумматор осуществляет сложение поступающих внешних входных сигналов в соответствии с их весами. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется передаточной функцией нейрона или функцией активации.

Рис. 3.2. Структура искусственного нейрона

 Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

Y = f(S)

где Wi, - вес синапса; b - значение смещения; S - результат суммирования; Xi - компонент входного вектора; Y - выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование - функция активации.

В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход Y определяется видом функции активации и может быть как действительным, так и целым.

Синаптические связи с отрицательными весами – тормозящими, с положительными весами называют возбуждающими.

На входной сигнал (S) нелинейный преобразователь отвечает выходным сигналом f(S), который представляет собой выход Y нейрона. Примеры активационных функций представлены в табл. 3.1. и на рис. 3.3.

Таблица 3.1

Рис. 3.3. Примеры активационных функций
а - функция единичного скачка; б - линейный порог (гистерезис); 
в - сигмоид (логистическая функция); г - сигмоид (гиперболический тангенс)

Одной из самых часто используемых является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид:

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). При уменьшении α сигмоид становится более пологим, в пределе при α = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении α сигмоид приближается к виду функции единичного скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством предотвращать насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон, а также усиливает слабые сигналы лучше, чем большие.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть отличие искусственных от биологических, их иногда называют формальными нейронами или нейроноподобными элементами.

4. Виды искусственных нейронных сетей

Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. Несмотря на существенные различия, отдельные типы искусственных нейронных сетей (ИНС) обладают несколькими общими чертами. Во-первых, основу каждой ИНС составляют относительно простые, в большинстве случаев – однотипные, элементы - искусственные нейроны. Во-вторых, принцип параллельной обработки сигналов, который достигается объединением большого числа нейронов в слои, соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, нейронов одного слоя между собой. Как правило, передаточные, активационные функции всех нейронов в сети фиксированы, а веса являются параметрами сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые выходы – как внешние выходы сети. Подавая любые числа на входы сети, мы получаем какой-то набор чисел на выходах сети. Таким образом, работа нейросети состоит в преобразовании входного вектора X в выходной вектор Y.

По архитектуре связей нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых нет обратных связей и сети рекуррентного типа, в которых возможны обратные связи от выходов некоторого слоя к входам предшествующих слоев или этого же слоя.