Файл: Нейронные сети Хопфилда и Хемминга. Назначение, архитектура, принципы работы, достоинства и недостатки.pdf

Термодинамические системы

Металл отжигают, нагревая его до температуры, превышающей точку ею плавления, а затем давая ему медленно остыть. При высоких температурах атомы, обладая высокими энергиями и свободой перемещения, случайным образом принимают все возможные конфигурации. При постепенном снижении температуры энергии атомов уменьшаются, и система в целом стремится принять конфигурацию с минимальной энергией. Когда охлаждение завершено, достигается состояние глобального минимума энергии.

Рис. 2.3. Линии энергетических уровнен

При фиксированной температуре распределение энергий системы определяется вероятностным фактором Больцмана

(2.6)

где Е - энергия системы; к - постоянная Больцмана; Т- температура.

Отсюда можно видеть, что имеется конечная вероятность того, что система обладает высокой энергией даже при низких температурах. Сходным образом имеется небольшая, но вычисляемая вероятность, что чайник с водой на огне замерзнет, прежде чем закипеть.

Статистическое распределение энергий позволяет системе выходить из локальных минимумов энергии. В то же время вероятность высокоэнергетических состояний быстро уменьшается со снижением температуры. Следовательно, при низких температурах имеется сильная тенденция занять низкоэнергетическое состояние. [2]

Статистичекие сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (1.1), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

(2.7)

где NET_k - выход NET нейрона к; θ - порог нейрона к, и

(2.8)

(отметьте вероятностную функцию Больцмана в знаменателе), где Т - искусственная температура.

В стадии функционирования искусственной температуре Т приписывается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

1. Приписать состоянию каждого нейрона с вероятностью р_к значение единица, а с вероятностью 1- р_к - ноль.
2. Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

---

Обобщенные сети

Принцип машины Больцмана может быть перенесен на сети практически любой конфигурации, хотя устойчивость не гарантируется. Для этого достаточно выбрать одно множество нейронов в качестве входов и другое множество в качестве выходов. Затем придать входному множеству значения входного вектора и предоставить сети возможность релаксировать в соответствии с описанными выше правилами 1 и 2.

Процедура обучения для такой сети, состоит из следующих шагов:

1. Вычислить закрепленные вероятности.

а) придать входным и выходным нейронам значения обучающего вектора;

б) предоставить сети возможность искать равновесие;

в) записать выходные значения для всех нейронов;

г) повторить шаги от а до в для всех обучающих векторов;

д) вычислить вероятность P_ij⁺ , т. е. по всему множеству обучающих векторов вычислить вероятность того, что значения обоих нейронов равны единице.

1. Вычислить незакрепленные вероятности.

а) предоставить сети возможность «свободного движения» без закрепления входов или выходов, начав со случайного состояния;

б) повторить шаг 2а много раз, регистрируя значения всех нейронов;

в) вычислить вероятность P_ij^-, т. е. вероятность того, что значения обоих нейронов равны единице.

1. Скорректировать веса сети следующим образом:

(2.9)

где δw_ij - изменение веса w_ij, η| - коэффициент скорости обучения.

Для различных слоев нейронной сети Хэмминга применимы правила определения весовых коэффициентов. Весовые коэффициенты и пороги сети с прямыми связями настраиваются таким образом, чтобы выходное значение i-го нейронного элемента соответствовало i-й мере подобия P_i между входным и i-м эталонным образом. Для этого необходимо, чтобы

(2.10)

Где

Тогда выходная активность j-го нейронного элемента сети с прямыми связями определяется как:

(2.11)

Легко показать, что выражение (2.11) эквивалентно мере подобия между входным и j-м эталонным образом:

(2.12)

Сеть Хопфилда, как уже отмечалось, предназначена для устранения возможных конфликтов, когда входной паттерн похож на несколько эталонных образов, хранящихся в сети. Найдем для этого весовые коэффициенты сети Хопфилда:

---

(2.13)

где e = const. Параметр e обычно лежит в диапазоне

(2.14)

Таким образом, каждый нейрон связан с остальными нейронными элементами сети Хопфилда только тормозящими связями. Начальная инициализация сети Хопфилда происходит на основе нейронной сети с прямыми связями: [1]

(2.15)

В процессе релаксации сеть Хопфилда изменяет свое состояние:

(2.16)

Преобразуем данное выражение с учетом того, что при k = j, v_ji=1:(2.17)

где k ≠ j

В качестве функции активации нейронных элементов сети Хопфилда используется следующая функция:

(2.18)

Релаксационный процесс происходит до тех пор, пока только один нейронный элемент сети Хопфилда не останется с положительной активностью. Такой нейронный элемент является победителем в конкурентной борьбе. Выходной слой сети Хэмминга преобразует выходную активность нейрона-победителя в единичное значение, а остальных нейронов - в нулевое значение. Для этого нейроны выходного слоя используют пороговую функцию активации. Номер нейрона победителя идентифицирует распознанный образ. Количество образов, хранимых в сети, равняется количеству нейронных элементов выходного слоя.

Рассмотрим алгоритм функционирования нейронной сети Хэмминга. Он состоит из следующих шагов:

1. Определяются весовые коэффициенты и пороговые значения для соответствующих слоев нейронной сети.

2. На вход сети подается неизвестный образ и производится инициализация нейронных элементов сети Хопфилда в соответствии с выражениями (2.12).

3. Производится итерационная процедура расчета выходных значений сети Хопфилда до ее конечной стабилизации. В этом случае на выходе сети Хэмминга один нейронный элемент будет иметь единичное состояние, а остальные – нулевое состояние.

4. Если в выходном слое существует несколько нейронных элементов-победителей, то выбор одного из них производится случайным образом. [2]

2.2. Достоинства нейронных сетей Хопфилда и Хэмминга

Сеть Хопфилда обладает некоторыми достоинствами:

---

1. Сеть имеет весомое историческое значение.  Также имеющиеся модификации открыты к решению современных задач области применения данной сети.
2. Она является основой и составляющей частью для модифицированной и более узкоспециализированной сети Хэмминга.
3. Данная сеть стала важной ступенью в развитии интереса к искусственным нейронным сетям и их повсеместному использованию в современном мире. С этой модели началось возрождение интереса к нейронным сетям в середине 80-х годов.
4. Имеет высокую скорость при аппаратной реализации и довольно слабую зависимость сходимости от размеров сети.

Достоинства сети Хемминга:

1. Она не требует для обучения масштабных вычислительных процедур.
2. Также ее достоинством можно считать немногочисленность межнейронных связей.
3. Емкость нейронной сети Хемминга равна количеству нейронов рабочего слоя, что обуславливает отсутствие чрезмерного потребления ресурсов ввиду пассивности нерабочих слоев в данный момент времени.
4. В работе сети существует отсутствие зависимости емкости от размерности входного сигнала.
5. Обладает достаточно простым алгоритмом работы, так же как и простым алгоритмом обучения.

Сеть Хэмминга имеет важные преимущества по сравнению с сетью Хопфилда:

1. Сеть Хэмминга с одним слоем, работает намного быстрее подобной сети Хопфилда, потому что решение формируется однократным проходом через один слой;
2. Сеть Хэмминга имеет один из самых простых алгоритмов формирования весов и смещений;
3. Экспериментально доказано, что двухслойная сеть Хэмминга функционирует лучше, чем сеть Хопфилда при случайном наборе запоминаемых векторов.
4. Сравнительно меньшее, чем в сети Хопфилда, количество межнейронных связей.
5. Скорость работы сети, состоящей из одинарного рабочего слоя, у Хэмминга выше, чем у сети Хопфилда, т.к. поиск решения осуществляется однократным проходом по слою нейронов. [7]

2.3. Недостатки

К сожалению, у нейронной сети Хопфилда есть ряд недостатков:

1. Нейронная сеть обладает сравнительно небольшой емкостью имеющейся памяти. Попытки записи превышающего допустимое количество числа образов приводят к неспособности сети продолжать распознавать эти образы;
2. При достижении сетью состояния равновесия все еще не представляется возможным с полной уверенностью рассчитывать на получение правильного ответа. Результатом работы сети могут быть нежелательные ложные аттракторы, которые по сути своей являются склеенными из фрагментов различных образов;
3. В процессе сеть может прийти к цикличности, если были использованы коррелированные векторы-образцы;
4. Сеть хранит в себе не только образы, но и их негативы.

---

Однако и у сети Хэмминга, несмотря на ее кажущееся превосходство относительно сети Хопфилда, есть недостатки:

1. Плохая работа при сильно зашумленных входных сигналах. Если сигналы от двух или более эталонов находятся на одинаковом расстоянии Хэмминга, то выбор одного из эталонов становится совершенно случайным, что уменьшает уровень результативности и приводит к неопределенности результата, а также закономерной способности распознавать только слабозашумленные образы;
2. Сети Хэмминга рассчитаны на работу только с бинарными входными сигналами, они не способны справляться с более новыми форматами информации, что ограничивает варианты их применения, однако в целом сети могут успешно использоваться для решения задач распознавания образов, классификации, реализации ассоциативной и гетероассоциативной памяти, а также передачи сигналов в условиях помех;
3. Она не выделяет два и более эталонов, имеющих с предъявленным изображением одинаковые максимальные меры близости. [9]

Заключение

Данная курсовая работа дала представление о способности нейронных сетей, определенным образом, предоставить помощь людям в дальнейшем развитии, исходящем из учета первоначальных данных. Область нейронных сетей исследована достаточно наглядно для того, чтобы утверждать ее сравнительное превосходство над другими статистическими вычислительными методами. Модели, созданные на основе нейронных сетей, обладают гибкостью теоретических требований, помимо этого, они нуждаются в относительно меньших объемах изначальных данных формирования задачи.

Нейронные сети способны подстраиваться, но они не сообщают о необходимости принятия во внимание определенных критериев решения задачи на этапе сбора данных.

Таким образом, нейронные сети действительно могут быть рассмотрены, как средства для формализации мышления. Приемлемо понятие справедливости в уместности существования основы для исследования нейронных сетей, которой является математическая логика, и достижения которой с большим успехом могу объяснить внутренние процессы и принципы работы нейронных сетей, а также могут служить залогом улучшения выполняемости более сложных задач на данный момент времени и в будущем, при появлении таковых. Из чего можно сделать вывод, что сети, способные использовать в качестве инструмента обратные связи внутри себя, рассматриваются для дальнейших исследований перспективным объектом. Специфические проблемы могут найти свое решение, и новые интересные возможности могут быть открыты благодаря динамическому поведению подобных сетей.

---