Файл: Нейронные сети и нечеткая логика.pdf

При рождении мозг имеет совершенную структуру, позволяющую строить собственные правила на основании того, что мы называем "опытом". Опыт накапливается с течением времени, и особенно масштабные изменения происходят в первые два года жизни человека. В этот период формируется остов общей структуры. Однако развитие на этом не прекращается - оно продолжается до последних дней жизни человека.

Понятие развития нейронов связано с понятием пластичности мозга - способности настройки нервной системы в соответствии с окружающими условиями. Именно пластичность играет самую важную роль в работе нейронов в качестве единиц обработки информации в человеческом мозге.

Аналогично, в искусственных нейронных сетях работа проводится с искусственными нейронами. В общем случае нейронная сеть представляет собой машину, моделирующую способ обработки мозгом конкретной задачи. Эта сеть обычно реализуется с помощью электронных компонентов или моделируется программой, выполняемой на цифровом компьютере.

Для того чтобы добиться высокой производительности, нейронные сети используют множество взаимосвязей между элементарными ячейками вычислений - нейронами. Таким образом, нейронная сеть - это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки. Знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения.

Для накопления знаний применяются связи между нейронами, называемые синаптическими весами. Процедура, используемая для процесса обучения, называется алгоритмом обучения. Эта процедура выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов. Изменение синаптических весов представляет собой традиционный метод настройки искусственных нейронных сетей. Однако нейронные сети могут изменять собственную топологию. Это обусловлено тем фактом, что нейроны в человеческом мозге постоянно отмирают, а новые синаптические связи постоянно создаются^[16].

3. Понятие искусственного нейрона

В предыдущем разделе уже затрагивалась схема строения искусственного нейрона. Повторяясь, отметим, что в состав искусственного нейрона входят умножители (синапсы), сумматор и нелинейный преобразователь.

---

Нейронная сеть представляет собой совокупность простых вычислительных элементов — искусственных нейронов, каждый из которых обладает определенным количеством входов (дендритов) и единственным выходом (аксоном), разветвления которого подходят к синапсам, связывающим его с другими нейронами. На входы нейрона поступает информация извне или от других нейронов. Каждый нейрон характеризуется функцией преобразова­ния входных сигналов в выходной (функция возбуждения нейрона). Нейроны в сети могут иметь одинаковые или разные функции возбуждения. Сигналы, поступающие на вход нейрона, неравнозначны, в том смысле, что информация из одного источника может быть более важной, чем из другого. Приоритеты входов задаются с помощью вектора весовых коэффициентов, модели­рующих синаптическую силу биологических нейронов.

Модель искусственного нейрона (рис.3)^[17] представляет собой непрерывно-дискретный преобразователь информации. Информация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов _Wi сигналов где п — размерность пространства входных сигналов.

Потенциал нейрона определяется по формуле

Взвешенная сумма поступивших сигналов (потенциал) преобразуется с помощью передаточной функции в выходной сигнал нейрона Y, который передается другим нейронам сети, т. е.

Рис.3 Схема кибернетической модели нейрона

Вид передаточной (активационной) функции является важнейшей характеристикой нейрона. В общем случае эта функция может быть ступенчатой (пороговой), линейной или нелинейной (рис. 4)^[18]. Пороговая функция пропускает информацию только в том случае, если алгебраическая сумма входных сигналов превышает некоторую постоянную величину например:

Пороговая функция не обеспечивает достаточной гибкости ИНС при обучении. Если значение вычисленного потенциала не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это приводит к снижению интенсивности выходного сигнала нейрона и, как следствие, к формированию невысокого значения потенциала взвешенных входов в следующем слое нейронов.

---

Линейная функция Y=kP дифференцируема и легко вычисляется, что в ряде случаев позволяет уменьшить ошибки выходных сигналов в сети, так как передаточная функция сети также является линейной. Однако она не универсальна и не обеспечивает решения многих задач.

Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция переноса которая удачно моделирует передаточную характеристику биологического нейрона (рис. 4, в).

Рис. 4 - Функции переноса искусственных нейронов: а - линейная; б- ступенчатая; в - сигмоидальная

Коэффициент к определяет крутизну нелинейной функции: чем больше к, тем ближе сигмоидальная функция к пороговой; чем меньше к, тем она ближе к линейной. Подобно ступенчатой функции она позволяет выделять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. При этом сигмоидальная функция, в отличие от ступенчатой, не имеет разрывов. Она дифференцируема, как и линейная функция, и это качество можно использовать при поиске экстремума в пространстве параметров ИНС.

Тип функции переноса выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают логистической (сигмоидальной) кривой.

В однолинейных сетях каждый нейрон (узел) нижнего слоя связан с одним нейроном верхнего слоя. Если каждый нейрон нижнего слоя соединен с несколькими нейронами следующего слоя, то получается пирамидальная сеть^[19].

Воронкообразная схема соединений предполагает связь каждого узла верхнего слоя со всеми узлами нижнего уровня. Существуют также древовидные и рекуррентные сети, содержащие обратные связи с произвольной структурой межнейронных соединений.

При всем многообразии возможных конфигураций ИНС на практике получили распространение лишь некоторые из них^[20].

4. Виды искусственных нейронных сетей

В общем случае можно выделить три фундаментальных класса нейронных систем:

• Однослойные сети прямого распространения;
• Многослойные сети прямого распространения;
• Рекуррентные сети.

В многослойной нейронной сети нейроны располагаются по слоям. В простейшем случае в такой сети есть входной слой узлов источника, информация от которого передается на выходной слой нейронов (вычислительные узлы). Такая сеть называется сетью прямого распространения или ацикличной сетью (рис.5)^[21].

---

Рис. 5 - Сеть прямого распространения с одним слоем нейронов

Показанная на рисунке сеть является однослойной, поскольку у нее единственный слой вычислительных элементов (нейронов).

Другой класс нейронных сетей прямого распространения имеет один или несколько скрытых слоев, узлы которых называются скрытыми нейронами. Функция скрытых нейронов заключается в посредничестве между внешним входным сигналом и выходом нейронной сети. Такая сеть позволяет выделять глобальные свойства данных за счет наличия дополнительных синаптических связей и повышения уровня взаимодействия нейронов. Узлы источника входного слоя сети формируют соответствующие элементы шаблона активации, которые составляют входной сигнал для второго слоя (первого скрытого). Выходные сигналы второго слоя используются как входные данные для третьего слоя и так далее (рис. 6)^[22].

Рис. 6 - Полносвязная сеть прямого распространения с одним скрытым и одним выходным слоем

Показанная на рисунке 6 нейронная сеть является полносвязной, поскольку все узлы каждого конкретного слоя соединены со всеми узлами смежных слоев. Если некоторые из синаптических связей отсутствуют, такая сеть называется неполносвязной.

Рекуррентная нейронная сеть отличается от сети прямого распространения наличием хотя бы одной обратной связи. Рекуррентная сеть может состоять из единственного слоя нейронов, каждый из которых направляет свой выходной сигнал на входы всех остальных нейронов этого же слоя (рис. 7)^[23].

Рис. 7 - Рекуррентная сеть

Таким образом, нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. При этом выходы нейронов одного слоя соединяются с входами нейронов другого. В зависимости от топологии со­единений нейронов ИНС подразделяются на одноуровневые и многоуровневые, с обратными связями и без них. Связи между слоями могут иметь различную структуру.

5. Обучение нейронных сетей

Из всех свойств ИНС ключевым является способность обучаться, поскольку сам процесс функционирования нейронной сети, сущность её действий зависит от величин и параметров синаптических связей. Поэтому создавая определённую структуру сети соответствующую какой-либо задаче, требуется найти оптимальные значения переменных параметров сети – весов и порогов^[24]. Этот процесс и называется обучением. Тип обучения определяется способом настройки, изменения параметров, и от того как он будет происходить, зависит способность сети решать поставленные задачи, при этом повышение эффективности и производительности происходит со временем, в соответствии с определенными правилами. Процесс обучения предполагает следующую последовательность событий:

---

1. В нейронную сеть поступают стимулы.

2. В результате этого изменяются свободные параметры нейронной сети.

3. После изменения внутренней структуры нейронная сеть отвечает на возбуждения уже иным образом.

Правила конфигураций и последовательности этих событий называются алгоритмом обучения и очевидно, что не существует универсального алгоритма для всех архитектур сетей - их множество, и каждый имеет свои достоинства и недостатки^[25].

Существует три базовых подхода к обучению, которые определяются доступностью необходимой информации: обучение с учителем (контролируемое), обучение без учителя (неконтролируемое) и смешанное.

При обучении с учителем все примеры обучающей выборки содержат правильные ответы (выходы), соответствующие исходным данным (входам). В процессе контролируемого обучения синаптические веса настраиваются так, чтобы сеть порождала ответы, наиболее близкие к правильным.

Обучение без учителя используется, когда не для всех примеров обучающей выборки известны правильные ответы. В этом случае предпринимаются попытки определения внутренней структуры поступающих в сеть данных с целью распределить образцы по категориям (модели Кохонена).

При смешанном обучении часть весов определяется посредством обучения с учителем, а другая часть получается с помощью алгоритмов самообучения^[26].

Алгоритмов обучения ИНС разработано множество, рассмотрим основные из них.

Правило коррекции по ошибке. Процесс обучения ИНС состоит в коррекции исходных значений весовых коэффициентов межнейронных связей, которые обычно задаются случайным образом. При вводе входных данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом (обычно менее 1%) увеличении синаптического веса тех связей, которые усиливают правильные реакции, и уменьшении тех, которые способствуют ошибочным. Это простейшее правило контролируемого обуче­ния (дельта-правило) используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов.

Правило Хебба. Оно базируется на следующем нейрофизиологическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих синапс. Это существенно упрощает реализацию алгоритмов обучения.

---