Добавлен: 22.05.2023
Просмотров: 280
Скачиваний: 4
Введение
Искусственные нейронные сети используются во многих отраслях науки, но прежде чем их будет необходимо применять там, где на карту поставлены человеческие жизни или огромные материальные ресурсы, необходимо решить важные вопросы, касающиеся надежности их работы. Поэтому уровень допустимых ошибок следует определять исходя из самой задачи. Некоторые проблемы с анализом надежности возникают из-за полного допущения непогрешимости компьютера, тогда как искусственные нейронные сети могут неправильно функционировать даже при правильной их работе. На самом же деле компьютеры, как и люди, тоже могут ошибаться. Первые — в силу различных технических проблем или ошибок в программах, вторые — из-за невнимательности, усталости или непрофессионализма. Следовательно, для особо важных задач необходимо, чтобы эти системы дублировали и подстраховали друг друга. Их этого следует что, при решении таких задач нейронные сети не должны выступать в качестве основного и единственного средства, а в качестве дополнительного, предупреждающего особые ситуации или берущего на себя управление, когда проблема не решается стандартным образом и какие-либо задержки могут привести к катастрофе.
Другая трудность использования нейронных сетей состоит в том, что обычные нейронные сети неспособны объяснить, как они решают задачу. Внутреннее представление результатов обучения зачастую настолько сложно, что его невозможно подвергнуть анализу, за исключением некоторых простейших случаев, которые, как правило, не представляют интереса.
В последнее время предпринимаются активные попытки объединения искусственных нейронных сетей и экспертных систем. В такой системе искусственная нейронная сеть может реагировать на большинство относительно простых случаев, а все остальные передаются для рассмотрения экспертной системе. В результате сложные случаи принимаются на более высоком уровне, при этом, возможно, со сбором дополнительных данных или даже с привлечением экспертов.
Нейросетевые прикладные пакеты, разрабатываемые рядом компаний, позволяют пользователям работать с разными видами нейронных сетей и с различными способами их обучения.
Области применения нейронных сетей весьма разнообразны — это распознавание текста и речи, семантический поиск, экспертные системы и системы поддержки принятия решений, предсказание курсов акций, системы безопасности, анализ текстов. В данной курсовой работе будет рассмотрена основная информация о нейронных сетях, областях их применения и методах обучения.
При создании курсовой работы ставилась цель: изучение нейронных сетей, а также анализ их работы, на примере решения практического задания.
Глава 1 История развития нейронных сетей
Все началось в середине прошлого столетия когда У. Мак-Каллок и У.Питтс формализуют понятие нейронной сети. В своих первых работах, в которых и были получены основные результаты в данном направлении. [1] В 1943 году ими была разработана компьютерная модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга.
В 1948 году Норберт Винер публикует работу о кибернетике. А через год - 1949 году Д. Хебб предлагает первый алгоритм обучения.
В 1958 год Джон фон Нейман предложил имитацию простых функций нейронов с помощью вакуумных трубок. Ф. Розенблатт в 1958 году изобретает однослойный перцептрон. [2]
В 1969 году Марвин Ли Минский публикует работу об ограниченности перцептрона, и как следствие его неспособность решать широкий круг задач. [3] Все это взятое приводит к снижению интереса многих исследователей к нейронным сетям. [4]
Благодаря исследованию таких ученых, как Кохонен, Гроссберг, Андерсон, сформировался теоретический фундамент, на основе которого стало возможно конструирование мощных многослойных сетей. Однако проблема заключалась в обучении сетей.
1974 году - П. Вербосом разработан алгоритм обратного распространения ошибки для обучения многослойных перцептронов, открытый снова в 1982 г. Д. Паркером и в 1986 году Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом, независимо и одновременно С.И. Барцевым и В.А. Охониным.
Этот систематический метод для обучения многослойных сетей преодолевает ограничения, указанные Минским. Дальнейшие исследования показали, что этот метод не является уникальным, несмотря на многие успешные практические результаты. Проблема заключается в очень долгом процессе обучения, а в некоторых случаях сеть может вообще не обучиться. Последнее возможно по двум причинам: паралич сети и попадание в локальный минимум.
1975 год - Фукушима представляет Когнитрон - самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов.
1980 год - Фукушимой была разработана мощная парадигма, названная неокогнитрон.
1982 год - Дж. Хопфилд разработал нейронную сеть с обратными связями. Хотя сеть имела целый ряд недостатков и не могла быть использована на практике, ученый заложил основы нейронных рекуррентных сетей, после чего об искусственных нейронных сетях стало возможным говорить, как об ассоциативной памяти. [5]
1982 г. - Кохоненом представлены модели сети, обучающейся без учителя на основе самоорганизации.
1987 год -Роберт Хехт-Нильсон, решая временные ограничения сети обратного распространения ошибки, разработал сети встречного распространения (СВР). Время в таких сетях обучения по сравнению с обратным распространением может уменьшаться в сто раз. Следующей проблемой искусственных нейронных сетей оказалась проблема стабильности-пластичности, суть, которой в том, что обучение новому образу уничтожает или изменяет результаты предшествующего обучения.
В 1987 год - Гроссберг создает адаптивную резонансную теорию (APT) и модели нейронных сетей, построенных на ее основе. Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов, в то же время, предотвращая изменение ранее запомненных образов. [6]
2000-е годы - проблема попадания в локальный минимум была решена, в частности, применением стохастических методов обучения (Больцмановское обучение, обучение Коши).
2007 год - Джеффри Хинтоном в Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей.
На сегодня разработано достаточно много других моделей нейронных сетей, имеющих свои особенности. [7,8,9]
Прошло меньше ста лет со дня первого упоминания о нейронных сетях, а ученые продвинулись очень далеко в изучении данного вопроса. А в 1984 году Джеймс Кэмерон в фильме «Терминатор» показал нам как могут обучаться нейронные сети. К сожалению, или к счастью развитие нейронных сетей приближается к тому уровню, который мы увидели на широком экране более 30 лет назад.
Глава 2 Аналогия нейронных сетей с мозгом и биологическим нейроном
Биологический нейрон - сложная система, математическая модель которого до сих пор полностью не построена. Создано множество моделей, различающихся сложностью и сходством с настоящими нейронами. Несмотря на простоту ФН, сети, созданные из таких нейронов, могут формировать произвольную многомерную функцию на выходе. [10]
По принципу с биологическим нейроном искусственный нейрон тоже имеет: 1. Синапсы- они характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости;
2. Ячейка нейрона – в ней суммируются все входы, что определяет текущее состояние нейрона;
3. Аксон - выходная связь нейрона, с которой сигнал поступает на синапсы следующих нейронов.
Как работает нервная клетка - биологический нейрон. Необходимо иметь математическую модель, адекватно описывающую информационные процессы в нейроне. Какие свойства нейрона важны при моделировании, а какие - нет?
Структура пары типичных биологических нейронов выглядит следующим образом: Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. [11] Здесь они суммируются причем одни входы стремятся возбудить нейрон другие - воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.
Данная схема биологического нейрона показывает нам как работает большая часть процессов работы мозга. [12] В искусственном нейроне вход ассоциируются с синапсом биологического нейрона, а выход - с аксоном. [13]
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Хотя сетевые парадигмы весьма разнообразны, в основе всех их лежит эта конструкция. Это входные сигналы, обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый вес соответствует силе одной биологической синаптической связи. [11]
Написанный выше вычислительный элемент можно считать более простой математической моделью биологических нейронов - клеток, из которых состоит нервная система человека и животных. [14]
Искусственные нейронные сети стимулированы биологией, так как они состоят из элементов, функциональные возможности которых сопоставимы большинству основных функций биологического нейрона. Эти элементы затем организуются по способу, который может сопоставляться анатомии мозга. [15]
Несмотря на такое частичное сходство, искусственные нейронные сети демонстрируют удивительное число свойств присущих мозгу. Например, они обучаются на основе опыта, обобщают предыдущие инциденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей новые данные.
В настоящее время разработан ряд моделей нейронов на полупроводниковых приборах и лампах, на магнитных и других элементах, которое позволяют довольно хорошо моделировать основные характеристики биологического нейрона и нейристора. Под нейристором понимается активная линия, обладающая основными свойствами нервных волокон. [16]
Имеет входы, снабженные весами, смещение, суммирующий элемент и выходную активационную функцию. Является аналогом биологического нейрона. [14]
Из описанного выше мы можем сделать вывод что, моделирование биологических нейронных сетей имеет перспективу и обосновывается текущими потребностями. Но для исследования нейронных сетей необходимо создать математическую модель биологических нейронов и биологических нейронных сетей. [10]
Эта функция возрастает по закону Вебера-Фехнера, который часто используется в нейрофизиологии для аппроксимации нелинейных соотношений входа и выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов. [11]
Теория искусственных нейронных сетей в настоящее время находится на этапе формирования, что предполагает ее разнообразие в постановке проблем и основных определений. Исследователи наделяют искусственные нейроны разнообразными свойствами, которые, по их мнению, равноценны функциям биологических нейронов и позволяют получать решение злободневных для ученых задач.
В качестве научного предмета искусственные нейронные сети впервые заявили о себе в 40-е годы. Стремясь воссоздать функции человеческого мозга, экспериментаторы создали простые аппаратные, а в последствии и программные модели биологического нейрона и системы его соединений.
Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно подчеркнуты важнейшие черты биологического нейрона. [11]
Данная упрощенная модель искусственного нейрона не видит многие свойства своего биологического прототипа. Например, она не принимает во внимание задержки по времени, которые воздействуют на динамику системы: входные сигналы сразу порождают выходной сигнал. Также не учитывается влияние функции частотной модуляции или синхронизирующей функции биологического нейрона, которые с биологических позиций считаются решающими.