Файл: Нейронные сети (История развития нейронных сетей).pdf

Введение

В последние годы наблюдается всплеск интереса к нейронным сетям, которые успешно используются в самых разных сферах деятельности: геологии, бизнесе, технике, медицине, физике.

Нейронные сети нашли практическое применение везде, где требуется решение задач классификации, прогнозирования и управления. Этот успех был определен несколькими причинами.

Широкие возможности. Нейронные сети являются мощным методом моделирования, позволяющим воспроизводить весьма сложные зависимости. Нейронные сети обладают нелинейностью по свой природе

На протяжение ряда лет линейное моделирование служило основным способом моделирования в подавляющем большинстве задач, поскольку для него хорошо продуманы и реализованы процедуры оптимизации.

Для задач, в которых линейные аппроксимации неудовлетворительны, работа линейных моделей неудовлетворительна. Кроме этого, нейронные сети решают проблему размерности, которая не позволяет моделировать линейные зависимости для случаев с большим количеством переменных

Простота использования. Нейронные сети обучаются на практических примерах. Пользователи нейронных сетей подбирают входные данные, а затем запускают алгоритмы обучения, которые автоматически воспринимают структуры данных. При этом от пользователей требуются некоторые наборы эвристических знаний о том, как нужно выбирать и готовить данные, выбирать нужные архитектуры сетей и интерпретировать результаты.

При этом уровень знаний, требуемый для успешного использования нейронных сетей, значительно скромнее, чем при использовании традиционных статистических методов.

Нейронные сети основаны на реальной биологической модели нервных систем. Развитие таких нейро-биологических моделей может в будущем привести к созданию реально мыслящих компьютеров.

Но даже современные нейронные сети являются мощным инструментом в арсеналах специалистов прикладной статистики.

Объектом исследования в курсовой работе являются нейронные сети, а объектом исследования создание систем нечеткой логики при решение задач с помощью MATLAB Fuzzy Toolbox.

Часть 1. Теоретическая часть

1.1 История развития нейронных сетей

Термин «нейронная сеть» начал использоваться специалистами в середине XX века.[1]

Основные работы, в которых были получены первые результаты по данному направлению, были выполнены Питтсом и Мак-Каллоком.

В 1943 году они разработали компьютерную модель нейронной сети на основе теории деятельности головного мозга и математических алгоритмов.

Они высказали предположения, что нейроны могут упрощенно рассматриваться как устройства, которые оперируют двоичными числами, и эта модель была названа «пороговая логика».

По аналогии со своим биологическим прототипом, нейроны Питтса–Мак-Каллока имели способность обучаться за счет подстройки параметров, которые описывают синаптическую проводимость.

Исследователями была предложена конструкция сети из электронных нейронов и показано, что подобные сети могут выполнять практически любые логические и числовые операции.

Питтс и Мак-Каллок высказали предположение, что такие сети в состоянии обучаться, обобщать, распознавать образы, т. е. обладают всеми признаками интеллекта.[5]

Этой моделью были заложены основы двух различных подходов к исследованию нейронных сетей.

Первый подход был ориентирован на изучение биологических процессов головного мозга, второй на использование нейронных сетей как методов искусственного интеллекта при решении различных прикладных задач.

В 1949 году канадским психологом и физиологом Хеббом были высказаны идеи о способе соединения нейронов в мозге и их взаимодействии. Им первым было высказано предположение, что обучение в первую очередь заключается в изменении силы синаптических связей.

Теорию Хебба считают типичным случаем самообучения, при котором испытуемые системы спонтанно обучаются выполнению поставленных задач без вмешательства со стороны экспериментатора.

Более поздние варианты теории Хебба легли в основу описания явлений долговременной потенциации.

В Массачусетском технологическом институте в 1954 году с использованием компьютеров Кларк и Фарли была создана имитация сети Хебба. Кроме этого, при помощи компьютерного моделирования были проведены исследования нейронных сетей в 1956 году Холландом, Рочестером, Дудой, Хебитом.[1]

В 1957 году Розенблатт разработал на основе двухслойной обучающейся нейронной сети компьютерную и математическую модели восприятия информации мозгом.

При обучении эта сеть использовала арифметические действия вычитания и сложения. Розенблатт описал не только схему основного перцептрона, но и схему логического сложения.

В 1958 году он предложил модель электронного устройства, которое было должно имитировать процесс мышления человека. Два года спустя была продемонстрирована первая действующая машина, которую можно научить распознавать некоторые буквы, написанные на карточках, которые подносились к его приборам, напоминающим видеокамеры.

Интерес к исследованиям нейронных сетей начал спадать после публикации в 1969 году Пейперта и Минского работ по машинному обучению.[5] Они обнаружили основные вычислительные проблемы, которые возникают при компьютерных реализациях искусственных нейронных сетей.

Первая проблема заключалась в том, что однослойными нейронными сетями невозможно было выполнять сложения по модулю 2, то есть выполнить реализацию функции «исключающее ИЛИ».[6]

Вторая важная проблема состояла в том, что компьютеры не имели достаточной вычислительной мощности, чтобы эффективно выполнять большие объемы вычислений, необходимые для больших нейронных сетей.

Исследования нейронных сетей замедлились до периода, пока компьютеры достигли необходимы вычислительных мощностей.

Одним из важнейших шагов, стимулирующих дальнейшие исследования, стали разработки Вербосом в 1975 году методов обратного распространения ошибки, которые позволили эффективнее решать задачи обучения многослойных сетей и решать проблемы сложения по модулю 2.

В 1975 году Фукусима разработал когнитрон, который являлся одной из первых многослойных нейронных сетей.

Используемые в когнитроне методы и фактическая структура сети для настройки относительных весов связей менялись от одной стратегии к другой. Каждая стратегия имела свои недостатки и преимущества.

Сети могли распространять информацию только по одному направлению или передавать информацию от одного конца к другому, пока не активизируются все узлы и сеть не приходит в конечное состояние.

Двусторонняя передача данных между нейронами появилась только в 1982 году в сети Хопфилда, а в первых гибридных сетях были введены специализации таких узлов для конкретных целей.

Под названием коннективизма в середине 1980 годов стали популярны алгоритмы параллельной распределенной обработки данных.[1]

В 1986 году в работах Мак-Клелланда и Руммельхарта коннективизм использовался для компьютерного моделирования нейронных процессов.

Несмотря на вызванный в научном сообществе разработкой метода обратного распространения ошибки энтузиазм, это породило много споров о том, возможно ли такое обучение реализовать в головном мозге.

Частично это связывалось с тем, что механизмы обратного прохождения сигналов в то время не были очевидны, так как не было явных источников целевого и обучающего сигналов.

В 2006 году были предложены некоторые неконтролируемые алгоритмы обучения нейронных сетей с одним и несколькими слоями с использованием процедур глубокого обучения.[7]

Эти процедуры могли использоваться для изучения промежуточных представлений, как с выходными сигналами, так и без них, чтобы понимать основные особенности распределения сенсорных сигналов, которые поступают на все слои нейронной сети.

Как и в ряде других случаев, задачи высокой сложности требуют использования не одного, а нескольких методов решений или их комплекса.

Не являются исключением и искусственные нейронные сети.

С начала текущего столетия в работах разных исследователей подробно описывались нечеткие нейронные сети, ячеистые нейронные сетевые модели.

Также нейронные сети использовались для настройки параметров нечетких систем управления.

Сегодня нет сомнений в дальнейшей интеграции методов искусственного интеллекта между собой и с другими методами решения задач.

1.2 Аналогия нейронных сетей с мозгом и биологическим нейроном

Нейронные сети появились по результатам исследований в сфере искусственного интеллекта, в частности, из попыток воспроизводства способности нервных биологических систем обучению и исправлению ошибок, моделируя низкоуровневое строение мозга.[8]

Основным направлением исследований в сфере искусственного интеллекта в период 60-х - 80-х годов, служили экспертные системы.

В основе таких систем лежало высокоуровневое моделирование процессов мышления, в частности, на представления, что процессы человеческого мышления построены на манипуляциях с символами.

Вскоре стало ясно, что такие системы, хотя и могут быть полезными в некоторых случаях, не затрагивают некоторые ключевые аспекты человеческого интеллекта.

Существуют мнения [1], что причины этого состоят в том, что они не могут воспроизводить строение мозга. Для создания искусственного интеллекта, требуется построить систему с аналогичной архитектурой.

Человеческий мозг состоит приблизительно их 10 000 000 000 нейронов, которые соединены многочисленными связями, в среднем до нескольких тысяч связей на один нейрон, и их количество может сильно колебаться.

Нейронами называют специальные клетки, которые способны распространять электрохимические сигналы. Нейроны имеют разветвленную структуру ввода информации - дендриты, разветвляющийся выход - аксон и ядро.

Аксоны нейронов соединяются с дендритами других нейронов при помощи синапсов. При активации нейроны посылают электрохимические сигналы по своим аксонам. Через синапсы эти сигналы достигают других нейронов, которые в свою очередь могут сильно активироваться.

Нейроны активируются тогда, когда суммарный уровень сигналов, пришедших в их ядра из дендритов, превышает определенный уровень, называемый порогом активации.

В биологический нейрон входит тело, диаметр которого в пределах от 3 до 100 мкм, которое содержит ядро с большим количеством ядерных пор и другие органеллы, в числе которых сильно развитые шероховатые ЭПР с активными рибосомами, аппарат Гольджи и отростки.[6]

Среди отростков выделяют два вида.

Аксонами называют обычные длинные отростки, приспособленные для проведения возбуждения от тел нейронов.[7]

Дендритами называют сильно разветвленные, короткие отростки, служащие главным местом образования влияющих на нейроны тормозных и возбуждающих синапсов. У разных нейронов имеются различные соотношения длин аксонов и дендритов.

Нейроны могут иметь по несколько дендритов и обычно, только один аксон. У одного нейрона могут иметься связи с десятками тысяч других нейронов. В коре головного мозга человека содержатся от 10 до 20 миллиардов нейронов.

Интенсивность сигналов, получаемых нейронами, а следовательно и возможность их активации, сильно зависит от активности синапсов. У каждого синапса имеется протяженность и специальными химическими веществами сигнал передается вдоль него.

Одним из самых авторитетных исследователей нейронных систем, Дональдом Хеббом был высказан постулат, что обучение в первую очередь заключается в изменении сил синаптических связей.

Например, в классических опытах Павлова, каждый раз перед непосредственным кормлением собак звонил колокольчик, и собаки быстро научилась связывать звонок колокольчика с пищей.

Это значит, что синаптические связи между участками коры головного мозга, ответственными за слюнные железы и слух усилились, а при возбуждении коры звуком колокольчика у собак начиналось слюноотделение.

Будучи построен из очень большого числа простых элементов, каждый из которых берет взвешенную сумму входных сигналов и в случаях, если суммарные входы превышают определенные уровни, передает дальше двоичные сигналы, мозг может решать весьма сложные задачи.[9]