Файл: Нечеткая логика и нейронные сети.pdf

Следующим шагомв 1957 году были разработка математической и компьютерной модели восприятия информации мозгом на основе двухслойной обучающейся нейронной сети Розенблаттом, персептрона - системы, обучающейся распознаванию образов. При обучении данная сеть использовала арифметические действия сложения и вычитания. Розенблатт описал также схему не только основного перцептрона, но и схему логического сложения. В 1958 году им была предложена модель электронного устройства, которое должно было имитировать процессы человеческого мышления, а два года спустя была продемонстрирована первая действующая машина, которая смогла научиться распознавать некоторые из букв, написанных на карточках, которые подносили к его «глазам», напоминающим кинокамеры. Наиболее важным результатом его работы явилось доказательство того, что простая процедура обучения сходится к решению поставленной задачи. На тот момент казалось, что для создания аналога человеческого мозга необходимо лишь спроектировать очень большую нейронную сеть.

В 1959 году Бернард Видров и Марсиан Хофф разработали модели ADALINE и MADALINE (Множественные Адаптивные Линейные Элементы (Multiple ADAptive LINear Elements)). MADALINE действовала, как адаптивный фильтр, устраняющих эхо на телефонных линиях. Эта нейросеть до сих пор в коммерческом использовании.

В 1969 году началось снижение интереса к нейронным сетям в связи с публикацией Минского и Пайперта "Перцептроны», формально доказав ограниченность перцептрона и его неспособность решать достаточно широкий круг задач. Были вскрыты основные вычислительные проблемы, возникающие при компьютерной реализации искусственных нейронных сетей. Во-первых однослойные нейронные сети не могли совершать «сложение по модулю 2», то есть реализовать функцию «Исключающее ИЛИ». Во-вторых, компьютеры того времени не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать вычисления для больших нейронных сетей. Все это приводит к снижению интереса многих исследователей к нейронным сетям до начала 80-х.

К этому времени, благодаря исследованиям Кохонена, Гроссберга, Андерсона, сформировался теоретический фундамент, который давал возможность конструирования мощных многослойных сетей. А разработка в 1975 году Вербосом алгоритма обратного распространения ошибки, позволила эффективно решать задачу обучения многослойных сетей, а также решить проблему со «сложением по модулю 2». Этот метод для обучения многослойных сетей преодолел ограничения, указанные Минским. Однако, дальнейшие исследования показали, что этот метод не является универсальным. Также проблема заключалась в очень долгом процессе обучения, а в некоторых случаях сеть могла не закончить обучение. Такое могло случиться из-за паралича сети или попадания в локальный минимум.

В 1975 году Фукусимой был разработан когнитрон – самоорганизующуюся многослойную сеть, предназначенную для инвариантного распознавания образов. В попытках улучшить когнитрон в 1980-мгоду Фукусимой была разработана парадигма, названная неокогнитрон. Методы, используемые в когнитроне для настройки относительных весов связей и фактическая структура сети, варьировались от одной стратегии к другой. Стратегии имели свои недостатки и преимущества. Сеть могла распространять информацию только в одном направлении или перебрасывать информацию из одного конца в другой, пока не активировались все узлы и сеть не приходила в конечное состояние.

В 1982 г. - Дж. Хопфилд разработал нейронную сеть с обратными связями, что позволило достичь двусторонней передачи информации между нейронами. и специализации этих узлов для конкретных целей, была введена в первых гибридных сетях. Он показал, что сеть нейронов с обратными связями можно описать как динамическую систему, обладающую "энергией", которая стартуя из случайного состояния, стремится к состоянию с минимальной энергией. Хотя сеть имела недостатки и не могла быть использована на практике, ученый заложил основы нейронных рекуррентных сетей. В результате этого об искусственных нейронных сетях начали говорить как об ассоциативной памяти. В этом же году Кохонен представил модели сети, которые могли обучаться без учителя на основе самоорганизации.