Файл: Нейронные сети.pdf

Введение

В современном мире автоматизация различных процессов проникла во все сферы деятельности человека. Экспертные системы помогают людям принимать решения в различных областях экономической и производственной деятельности. Современные роботы и компьютерные системы различают звуки, видео образы, и человеческую речь, идет развитие искусственного интеллекта. В основе всех этих систем лежат нейронные сети. Именно этим обуславливается актуальность их изучения.

Целью работы является изучение истории и проблем развития нейронных сетей, получение практических навыков применения нечеткой логики для решения прикладных задач .

Основными задачами, поставленными для достижения цели можно считать:

- рассмотрение теоретических аспектов функционирования нейронной сети;

- исследование истории развития и методов обучения нейронных сетей;

- практическое применение нечеткой логики при решении задач с помощью программного комплекса MatLab.

Объектом исследования являются нейронные сети.

Предметом исследования являются история развития и обучение нейронных сетей.

Теоретической и методологической основой работы послужили материалы из интернета и труды отечественных и зарубежных ученых.

В работе были использованы такие методы как сравнение, группировка, детализация, анализ.

Актуальность изучения и применения нейронных сетей подтверждается огромным количеством их применения в различных областях человеческой деятельности. Это автоматизация процессов распознавания образов, прогнозирование, адаптивное управление, создание экспертных систем, организация ассоциативной памяти и многое другое. С помощью нейросетей можно, например, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке, предсказывать показатели биржевого рынка или синтезировать речь по тексту.

Широкий круг задач, решаемый нейронными сетями и не высокое развитие электроники не позволяет в настоящее время создавать универсальные, мощные сети, что приводит к разработке специализированных сетей, функционирующих по различным алгоритмам. Тем не менее, мощности нейросетей растут с каждым годом.

Часть I. Теоретическая часть

1. История развития нейронных сетей

Термин «нейронная сеть» появился в середине XX века. В 1942 году Норберт Винер и его коллеги формулируют идею кибернетики, которую они определяли как науку об управлении и связях в организмах животных и в машинах. Основной идеей было рассмотрение биологических процессов с точки зрения математики и инженерии. Одной из наиболее важных они рассматривали идею обратной связи.

В то же время, Мак-Каллоком и Питтсом были проведены первые работы, в которых были получены основные результаты в данном направлении. В 1943 году они разработали компьютерную модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга. Ими было выдвинуто предположение, что нейроны можно упрощённо рассматривать как устройства, работающие с двоичными числами, эта модельбыла названа ими «пороговой логикой». Подобно биологическим нейронам нейроны Мак-Каллока–Питтса могли обучаться подстройкой параметров, описывающих синаптическую проводимость. Ученые предложили конструкцию сети из электронных нейронов, идея заключалась в том, что любая связь типа "вход-выход" может быть реализована искусственной нейронной сетью. Тогда им казалось, что подобная сеть может выполнять практически любые вообразимые числовые или логические операции. Они предположили, что такая сеть может обладать всеми чертами интеллекта и сможет также обучаться, обобщать, распознавать образы.

Канадский физиолог и психолог Хебб в 1949 высказал идеи о взаимодействии нейронов мозга и характере их соединения. Он описал механизм работы мозга животного и предположил, что согласно этому механизму, синаптические силы (веса) нейронной сети должны меняться. Алгоритм Хебба это типичный случай самообучения системы, при котором исследуемая сеть спонтанно обучается выполнению поставленной задачи без вмешательств. Более поздние варианты алгоритма Хебба были положены в основу описания явления долговременной потенциации.

В это время происходит разделение в области моделирования процесса мышления на два независимых направления: логическое и нейрокибернетическое. Логическое рассматривает применение нейронных сетей для решения различных прикладных задач в качестве метода искусственного интеллекта. Позже с появлением «экспертных систем» (в начале 80-х годов) это направление развилось в научно-технологическое направление информатики занимающееся созданием т. н. «систем, основанных на знаниях». С этим направлением обычно ассоциируют термин «искусственный интеллект». Второе направление ориентированное на изучение биологических процессов в головном мозге, — нейрокибернетическое — основывалось на построении самоорганизующихся систем, состоящих из множества элементов, подобных нейронам головного мозга. Это направление началось с концепции формального нейрона Мак-Каллока-Питтса, исследований в Массачусетском технологическом институте 1954 году Фарли и Кларк, которые с использованием компьютеров разработали имитацию сети Хебба. Также исследования нейронных сетей с помощью компьютерного моделирования в 1956 году проводились Рочестером, Холландом, Хебитом и Дудой.

Следующим шагомв 1957 году были разработка математической и компьютерной модели восприятия информации мозгом на основе двухслойной обучающейся нейронной сети Розенблаттом, персептрона - системы, обучающейся распознаванию образов. При обучении данная сеть использовала арифметические действия сложения и вычитания. Розенблатт описал также схему не только основного перцептрона, но и схему логического сложения. В 1958 году им была предложена модель электронного устройства, которое должно было имитировать процессы человеческого мышления, а два года спустя была продемонстрирована первая действующая машина, которая смогла научиться распознавать некоторые из букв, написанных на карточках, которые подносили к его «глазам», напоминающим кинокамеры. Наиболее важным результатом его работы явилось доказательство того, что простая процедура обучения сходится к решению поставленной задачи. На тот момент казалось, что для создания аналога человеческого мозга необходимо лишь спроектировать очень большую нейронную сеть.

В 1959 году Бернард Видров и Марсиан Хофф разработали модели ADALINE и MADALINE (Множественные Адаптивные Линейные Элементы (Multiple ADAptive LINear Elements)). MADALINE действовала, как адаптивный фильтр, устраняющих эхо на телефонных линиях. Эта нейросеть до сих пор в коммерческом использовании.

В 1969 году началось снижение интереса к нейронным сетям в связи с публикацией Минского и Пайперта "Перцептроны», формально доказав ограниченность перцептрона и его неспособность решать достаточно широкий круг задач. Были вскрыты основные вычислительные проблемы, возникающие при компьютерной реализации искусственных нейронных сетей. Во-первых однослойные нейронные сети не могли совершать «сложение по модулю 2», то есть реализовать функцию «Исключающее ИЛИ». Во-вторых, компьютеры того времени не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать вычисления для больших нейронных сетей. Все это приводит к снижению интереса многих исследователей к нейронным сетям до начала 80-х.

К этому времени, благодаря исследованиям Кохонена, Гроссберга, Андерсона, сформировался теоретический фундамент, который давал возможность конструирования мощных многослойных сетей. А разработка в 1975 году Вербосом алгоритма обратного распространения ошибки, позволила эффективно решать задачу обучения многослойных сетей, а также решить проблему со «сложением по модулю 2». Этот метод для обучения многослойных сетей преодолел ограничения, указанные Минским. Однако, дальнейшие исследования показали, что этот метод не является универсальным. Также проблема заключалась в очень долгом процессе обучения, а в некоторых случаях сеть могла не закончить обучение. Такое могло случиться из-за паралича сети или попадания в локальный минимум.

В 1975 году Фукусимой был разработан когнитрон – самоорганизующуюся многослойную сеть, предназначенную для инвариантного распознавания образов. В попытках улучшить когнитрон в 1980-мгоду Фукусимой была разработана парадигма, названная неокогнитрон. Методы, используемые в когнитроне для настройки относительных весов связей и фактическая структура сети, варьировались от одной стратегии к другой. Стратегии имели свои недостатки и преимущества. Сеть могла распространять информацию только в одном направлении или перебрасывать информацию из одного конца в другой, пока не активировались все узлы и сеть не приходила в конечное состояние.

В 1982 г. - Дж. Хопфилд разработал нейронную сеть с обратными связями, что позволило достичь двусторонней передачи информации между нейронами. и специализации этих узлов для конкретных целей, была введена в первых гибридных сетях. Он показал, что сеть нейронов с обратными связями можно описать как динамическую систему, обладающую "энергией", которая стартуя из случайного состояния, стремится к состоянию с минимальной энергией. Хотя сеть имела недостатки и не могла быть использована на практике, ученый заложил основы нейронных рекуррентных сетей. В результате этого об искусственных нейронных сетях начали говорить как об ассоциативной памяти. В этом же году Кохонен представил модели сети, которые могли обучаться без учителя на основе самоорганизации.

1987 г. - Роберт Хехт-Нильсон, разработал сети встречного распространения ошибки, работая над временными ограничениями сети обратного распространения ошибки. В результате время обучения с обратным распространением может уменьшаться в таких сетях в сто раз. Другая проблема искусственных нейронных сетей была проблема стабильности-пластичности, которая заключалась в том, что обучение новому образу уничтожает или изменяет результаты предшествующего обучения. Эту проблему в 1987 году решил Гроссберг, создав адаптивную резонансную теорию и, построенную на ее основе модель нейронных сетей. Сети и алгоритмы адаптивной резонансной теории сохраняют пластичность, которая нужна для изучения новых образов, и предотвращает изменение ранее запомненных образов.

2000-е годы применение стохастических методов обучения, таких как «Обучение Коши» и «Больцмановское обучение» помогло решить проблему попадания в локальный минимум. В университете Торонто Джеффри Хинтон в 2007 году, используя ограниченную машину Больцмана при обучении нижних слоев сети, создал алгоритмы глубокого обучения многослойных нейронных сетей. Эти алгоритмы можно использовать для изучения промежуточных представлений, с выходным сигналом, и без него, чтобы понять основные особенности распределения сенсорных сигналов, поступающих на каждый слой нейронной сети. Сейчас разработано достаточно много других моделей нейронных сетей, имеющих свои особенности.

Рассказывая о искусственных нейронных сетях нельзя не упомянуть про эмпирический тест предложенный в 1950 году Аланом Тьюрингом для определения может ли машина мыслить, идея которого была опубликована в статье «Вычислительные машины и разум» в философском журнале Mind. Во время теста человек-судья, общаясь с «думающей машиной» и другим человеком, должен определить кто из собеседников действительно человек, а кто нет. Если он не может сказать определённо, кто из собеседников является человеком, то считается, что машина прошла тест. Чтобы судья не мог сделать заключение исходя из скорости ответов, переписка производится через определенные промежутки времени. Если во времена Тьюринга это правило было необходимо т.к. компьютеры реагировали медленнее человека, то сейчас это необходимо, потому что они реагируют гораздо быстрее, чем человек. Тест критикуют за ярко выраженную направленность в сторону человека: проверяется только способность машины походить на человека, а не разумность машины вообще, За непрактичность, что он не может быть по-настоящему полезным при разработке разумных машин и др. Но несмотря на это у теста и множество достоинств. Сильной стороной теста Тьюринга является то, что можно разговаривать о чем угодно и особенно его простота.

В настоящее время применяются различные модификации теста Тьюринга, например, тест BotPrize проходит в виде многопользовательской компьютерной игры, персонажами которой управляли компьютерные алгоритмы или реальные люди, Задания по сборке который использует задания по сборке заданной конструкции из набора деталей, I-Athlon, который предлагает выполнить пересказ сюжета видеоклипа или изложение содержания аудиофайла.

С 1991 года проводится ежегодный конкурс на получение премии Лебнера, являеющийся платформой для практического проведения тестов Тьюринга. Соревнование было организовано с целью продвижения вперёд исследований, связанных с искусственным интеллектом. За время проведения конкурса серебряная (текстовая) и золотая (аудио и зрительная) медали никогда ещё не вручались. Бронзовой медалью судьи награждают компьютерную систему, которая из представленных на конкурс, по их мнению, продемонстрирует «наиболее человеческое» поведение в разговоре. Например в 2000, 2001 и 2004 году бронзовую медаль завоевывала программа «Искусственное лингвистическое интернет-компьютерное существо» (Artificial Linguistic Internet Computer Entity - A.L.I.C.E.), а в 2005 и 2006 побеждала программа Jabberwacky, способная к обучению.