Файл: История развития нейронных сетей.pdf

Большое количество однотипных нейронов со синаптическими весами настроенными случайно, что приводит в различной реакции на одинаковые входные данные.
Предельное значение силы для каждого нейрона.
Механизм осуществляющий конкуренцию между нейронами, и позволяющий одному победившему нейрону откликаться на данное подмножество входных сигналов.

Таким образом, каждый отдельный нейрон сети соответствует группе близких образов. При этом нейроны становятся детекторами признаков различных классов входных образов.

В простейшем виде конкурентная сеть с конкурентным обучением содержит единственный слой выходных нейронов, каждый из которых соединен с входными узлами (Рис. 11). В таких сетях могут присутствовать обратные связи между нейронами которые обеспечивают латеральное торможение, когда каждый нейрон стремится затормозить связанный с ним нейроны.

Рис. 11. Граф простой сети конкурентного обучения.

Для победы в конкурентной борьбе нейрону нужно чтобы его индуцированное локальное поле для заданного входного образа было максимальным среди всех нейронов сети. Тогда выходной сигнал нейрона-победителя принимается равным единице, а выходные сигналы остальных нейронов устанавливаются значение нуль, по принципу «победитель забирает все».

Для иллюстрации конкурентного обучения воспользуемся геометрической аналогией (Рис 12).

Рис. 12. Геометрическая интерпретация процесса конкурентного обучения.

Исходят из того что все входные образы имеют некоторую постоянную Евклидову норму. Это позволяет изобразить их в виде точек на N - мерной единичной сфере, где N – количество входных узлов, а так-же размерность вектора входных синаптических весов wk. Если все узлы имеют одну и ту же Евклидову норму, то

При правильно масштабированных синаптических весах, они формируют набор векторов, которые проецируются на ту же геометрическую сферу. На рис. 12 а можно наблюдать три естественные группы точек, представляющие входные векторы. Крестиками обозначено начальное состояние сети до обучения. На рис. 12 б) показано состояние сети прошедшей конкурентное обучение, в результате которого синаптические веса каждого выходного нейрона сместились к центрам каждой группы точек. Этот пример демонстрирует способность сети с конкурентным обучением решать задачи кластеризации. Однако для устойчивого решения подобной задачи входные образы должны формировать достаточно разрозненные группы векторов. Иначе сеть может потерять устойчивость, выдавая в ответ на очередной входной образ отклики от разных выходных нейронов.

Обучение Больцмана.

Нейронная сеть, созданная на основе обучения Больцмана, так же называется машиной Больцмана. В машине Больцмана все нейроны представляются рекуррентными структурами, работающими с бинарными сигналами. Это значит что они могут находится во включенном (значение +1) или выключенном (значение -1) состоянии. Машина Больцмана характеризуется функцией энергии Е, значение которой определяется конкретными состояниями отдельных составных нейронов. Это можно выразить следующим образом:

где xj — состояние нейрона j; wkj – синаптический вес связи нейронов j и k. В этой сети нейроны не имеют обратных связей с самими с собой, что обеспечено условием j ≠ k. Работа этой машины состоит в выборе случайного нейрона (например k-го) на определенном шаге процесса обучения и переводе его из состояния xk в состояние -xk при температуре Т с вероятностью

где ΔEk – изменение энергии машины, вызванное переходом состояний. При многократном применении этого правила машина Больцмана достигает термального равновесия.

Нейроны машины Больцмана подразделяются на две группы: видимые и скрытые. Видимые нейроны обеспечивают связь между сетью и средой ее функционирования, а скрытые работают независимо от внешней среды.

Помимо алгоритмов обучения нейронных сетей выделяют две основные парадигмы обучения.

Обучение с учителем.

Для нейронных сетей использующих обучение с учителем предполагается, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе эти вектора называются обучающей парой, таких пар обычно используется несколько для обучения сети. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором. Затем корректируются веса в соответствии с математическим алгоритмом который минимизирует ошибку. Таким образом последовательно предъявляя обучающие векторы и подстраивая веса для каждого вектора добиваются приемлемых показателей ошибки по всему обучающему вектору.

Процесс обучения без учителя гораздо ближе к идее имитации биологических процессов обучения нейронных сетей. В отличии от обучения с учителем здесь результат заранее неизвестен, а следовательно и нет эталонных результатов под которые надо подгонять результаты выхода сети. Вместо этого обучающий алгоритм выстраивает веса сети так чтобы при близких входных данных были одинаковые выходы. Это достигается выделением статистических свойств обучающего множества и группировкой сходных векторов в классы.

Из выше сказанного можно сделать вывод, что процесс машинного обучения нейронных сетей представляет из себя выведение математических закономерностей из представленных обучающих выборок, подобранных так чтобы в результате обучения в нейронной сети складывались шаблоны обработки типовых данных. Процесс обучения напоминает дрессировку животных, однако при правильной настройке всех параметров, можно добиться хороших результатов в обучении, и обеспечить выполнение нейронной сетью поставленных задач.

Глава 6. Применение нечеткой логики на практике

Задача на определение расхода воды на полив выполненная в программном комплексе MATLABFuzzyLogicToolbox.

Условие задачи:

В задаче требуется определить расход воды при поливе с/х угодий. Входные сигналы: а) количество с/ч культур (много культур, мало культур), б) температура воздуха летом (засушливое лето, нормальное лето, холодное лето). Выходной сигнал: расход воды на полив (большой расход, средний расход, маленький расход). Правила: 1. Если с/х культур много, лето засушливое, то расход воды большой. 2. Если с/х культур много, лето нормальное, то расход воды средний. 3. Если с/х культур мало, лето холодное, то расход воды маленький.

По условию задачи имеется два входных параметра — это температура воздуха летом и количество высаживаемых культур. От входных параметров будет вычисляться выходной параметр расхода воды на полив сельскохозяйственных угодий (Рис 13).

Рис. 13. Система с заданными выходами и входами в соответствии с условием задачи.

Далее задаем входу количества культур две функции которые согласно условию задачи будут отражать условия большого и маленького количества засеиваемых культур (Рис. 14).

Рис. 14. Задание функций для входа количества культур.

Следующим шагом задаем функции для входа температур. В соответствие с условием задачи задаем три функции температуры: холодную, нормальную и засушливую (Рис. 15). Для холодной и засушливой температуры целесообразно будет выбрать функции trapmf по скольку наиболее сильное влияние на урожайность будут иметь именно экстремальные значения температур по краям температурного диапазона.

Рис. 15. Задание функций для входа «Температура».

Затем для выхода «Расход воды» задаем функции соответствующие показателям большого, среднего и маленького расхода воды на полив в диапазоне от 0 до 30 (Рис. 16).

Рис. 16. Выход «Расход воды» с заданными функциями.

Согласно условию задачи расход воды будет зависеть от заданных условий входа по трем правилам:

- 1. Если с/х культур много, лето засушливое, то расход воды большой.
  2. Если с/х культур много, лето нормальное, то расход воды средний.
  3. Если с/х культур мало, лето холодное, то расход воды маленький.

В редакторе правил задаем указанные правила согласно условию задачи (Рис. 17).

Рис. 17. Правила для определения расхода воды на полив.

Результаты

После задания всех условий имеем возможность проверить результат работы фаззи-системы.

При средних температурных показателях и среднем количестве культур система назначает расход воды средним значением в 15 (Рис. 18).

Рис. 18. Определение расхода воды для средних значений температур и кол-ва культур.

Если температура увеличивается то и расход воды растет (Рис. 19).

Рис. 19. Расход воды при высокой температуре.

При маленьком количестве культур и низкой температуре, согласно условию задачи, расход воды будет небольшим (Рис. 20).

Рис. 20. Расход при низкой температуре и малом количестве культур.

При небольшом количестве культур, но высокой сезонной температуре расход воды будет средним (Рис. 21)

Рис. 21. Расход воды при высокой температуре и малом количестве культур.

При большом количестве культур и засушливой температуре будет выполнятся правило 1 условия задачи и в соответствии с ним расход воды на полив будет высоким (Рис. 22).

Рис. 22. Расход при большой температуре и большом количестве культур.

При большом количестве культур и небольшой температуре расход воды будет оставаться в средних значениях (Рис. 23).

Рис. 23. Расход при большом количестве культур и маленькой температуре.

При нормальной температуре и большом количестве культур выполняется правило 2 и расход воды будет средним (Рис. 24).

Рис. 24. Расход воды при нормальной температуре и большом количестве культур.

Программный комплекс MATLABFuzzyLogicToolbox дает возможность создавать наглядные визуальные модели решений задач нечеткой логики. Большое количество различных настроек и встроенных функций позволяет учесть все нюансы задачи при построении модели. При достаточном уровне владения программный комплекс может оказать большую помощь в моделировании деловых процессов.

Заключение

Нейронные сети прошли большой путь от теоретических предположений и математических теорий до рабочих инструментов, применяемых сегодня во многих сферах деятельности человека. В результате эволюции механизмов этого вида искусственного интеллекта нейронные сети обрели собственную логическую модель искусственного нейрона, подражающую процессам обучения мозга человека, и выносящую из этого сходства свои преимущества. Количество всевозможных топологий сегодня, исчисляясь десятками основных типов, позволяет подобрать наиболее подходящий для выполнения задачи вариант. А системы обучения позволяют добиться от сетей необходимой результативности при правильно выстроенном процессе обучения.

Также мы на примере посмотрели работу систем нечеткой логики в реальной сфере деятельности.

В целом сферу искусственного интеллекта ждет бурное развитие в ближайшее время судя по открывающимся для нейронных систем все новых областей применения.

Библиография

1. McCulloh W.S. And W. Pitts “A logical calculus of the ideas immanent in nervous activity” , Bulletin of Mathematical Biophysics, 1943

2. Donald O. Hebb "The Organization of Behavior" 1949

3. Gabor D. «Communication theory and cybernetics», IRE Transactions on Circuit Theory, 1954

4. Von Neumann J. “Probabilistic logics and the synthesis of reliable organisms from unreliable components” Princeton, NJ: Princeton University Press, 1956

5. Rosenblatt F. «The Perceptron: A probabilistic model for information storage and organization in the brain», Psychological Review, 1958

6. Widrow B, «Generalization and information storage in networks of adaline ”neurons”» in M.C Yovits, G.T. Jacobi and G.D., Goldstein eds., Self-Organizing Systems, Washington, DC: Spartan Books, 1962

7. Minsky M.L. And S.A. Papert, Perceptrons, Cambridge, MA: MIT Press, 1969

8. Hopfield J.J.«Neural networks and physical systems with emergent collective computational abilities», 1982

9. Cohen M.A. and S. Grossberg, «Absolute stability of global pattern formation and parallel memory storage by competitive neural networks», IEEE Transactions on systems, Man and Cybernetics, 1983

10. Kirkpatrick S., C.D. Gelatt, Jr. and M.P. Vecchi. «Optimization by simulated annealing», Science, 1983

11. Braitenberg V. «Vehicles: Experiments in Synthetic Psychology», Cambridge, MA: MIT Press, 1984

12. Rumelhart D.E., G.E. Hinton and R.J. Williams. «Learning representations of back-propagation errors», Nature (London), 1986