Добавлен: 14.06.2023
Просмотров: 114
Скачиваний: 5
Введение
Сегодня в условиях стремительно развивающихся информационных технологий нейронные сети становятся очень актуальным инструментом решения самых разных задач. Из за широких возможностей настройки и обучения нейронных сетей, а так-же возможностей создания все новых топологий и методов обучения, нейронные сети завоевывают свое место во многих сферах жизни. Самый разный подход к обработке информации и спектр решаемых задач, а так-же все более и более доступные в современном мире внушительные вычислительные мощности современных электронных устройств, делают нейронные сети доступным и эффективным способом решения возникающих перед человеком проблем.
Изучение нейронных сетей в современном мире весьма актуально, по скольку с увеличением доступности аппаратных средств , нейронные сети могут быть применены в повседневных задачах широкими слоями общества. Это делает нейронные сети перспективной отраслью развития искусственного интеллекта.
Основой для получения информации при написании работы послужили книги С. Хайкина «Нейронные сети: полный курс» [25] и Яхъяевой «Нечеткие множества и нейронные сети.» [26]. А также статья Федора ван Вина «Зоопарк нейронных сетей» [27]. Данные источники обладают наиболее емкой информацией по теме на мой взгляд.
Целью работы служит анализ принципов построения и функционирования нейронных систем, а также применение инструментов нечеткой логики.
На протяжении работы будут разобраны темы истории нейронных сетей, аналогий с биологическим мозгом, понятия искусственного нейрона, виды искусственных нейронных сетей, способы их обучения, а также приведен пример применения нечеткой логики.
Предметом курсовой работы являются нейронные сети и нечеткая логика.
Глава 1. История развития нейронных сетей.
Развитие нейронных систем в современном понимании началось с новаторской работы двух ученых, довольно далеких друг от друга по профилю. Психиатр и нейроанатом Уоррен Мак-Каллок и талантливый математик Уолтер Питтс в 1943 году опубликовали статью «Логическое исчисление идей, относящихся к нервной активности» [1]. В статье описывались результаты, полученные группой специалистов по нейромоделированию из университета Чикаго, возглавляемой Рашевским (Rashevsky), в течении пяти лет. Мак-Каллок и Питтс описали логику вычислений в нейронных сетях на основе результатов нейрофизиологии и математической логики. Ученые показывали что сеть, составленная из большого количества формализованных нейронов, соответствующих принципу «все или ничего», соединенных правильно сконфигурированными и синхронно работающими синаптическими связями теоретически способна выполнять любые вычисления. Это послужило причиной зарождения современных направлений в науке, таких как искусственный интеллект и нейронные сети.
В 1949 году Дональд Хебб опубликовал книгу под названием «Организация поведения» [2], в которой вывел правило обучения для синаптической модификации, суть которого состоит в том что по мере процесса обучения связи в мозге постоянно изменяются, формируя при этом ансамбли нейронов. Постулат обучения Хебба гласит: эффективность переменного синапса между нейронами повышается при многократной активации этих нейронов через данный синапс. К сожалению, книга Хебба оказала большее влияние на развитие психологии, нежели направления искусственного интеллекта. При создании вычислительных моделей обучаемых и адаптивных систем, в результате компьютерного моделирования было четко показано, что для полноты теории к ней следует добавить торможение.
В 1954 году Деннис Габор предложил идею нелинейного адаптивного фильтра в работе «Communication theory and cybernetics» [3] и создал с командой единомышленников машину, обучающуюся на примере стохастического процесса.
Отдельной задачей в деле нейронных сетей было создание надежных сетей из нейронов, которые сами по себе надежными компонентами не считаются. В 1956 году фон Нейман решил эту задачу, применив идею избыточности [4]. Распределенное избыточное представление показывало, как большая группа элементов может в совокупности представлять одно понятие при соответствующем повышением робостности и степени параллелизма.
В 1958 году Фрэнк Розенблатт предложил новый подход к задаче распознавания образов, основанный на использовании персептрона, и нового метода обучения с учителем в работе «The Perceptron: A probabilistic model for information storage and organization in the brain»[5], в ней Розенблатт вывел теорему сходимости персептрона, доказал которую в 1960 году.
В 1960-е годы был описан алгоритм наименьших квадратов LMS (least mean-square algorithm), который применялся для построения адаптивных линейных элементов Adaline, Видроу вместе со своими студентами в работе «Generalization and information storage in networks of adaline ”neurons”» [6] предложил одну из первых обучаемых многослойных нейронных сетей, содержащей многочисленные адаптивные элементы, так же был подробно описан процесс линейной разделимости образов. Однако в вышедшей в 1969 году книге Минского и Пайперта «Perceptrons» [7] были выведены фундаментальные ограничения однослойного персептрона и высказано предположение, что ограничения скорее всего не удастся преодолеть в многослойных версиях. Эта работа оттолкнула ученых от дальнейших исследований в данном направлении, а так же затруднила финансирование этих исследований из - за кажущейся бесперспективности дальнейшего развития. Отсутствие интереса к направлению спровоцировало застой в развитии нейронных сетей на десятилетие.
В 1980-х годах развитие направления продолжилось. Новый принцип самоорганизации названный теорией адаптивного резонанса открыт Гроссбергом в 1980 году.
В 1982 году Хопфилд в работе «Neural networks and physical systems with emergent collective computational abilities» [8] установил изоморфизм между рекурентной сетью и изинговской моделью, используемой в статистичесткой физике, что позволило использовать результаты физической теории, а также привлечь ученых физиков в нейронное моделирование.
В 1983 году выведен в работе «Absolute stability of global pattern formation and parallel memory storage by competitive neural networks» [9] выведен общий принцип устойчивости ассоциативной памяти. Тогда же была описана процедура моделирования отжига, в работе «Optimization by simulated annealing» [10] открывающая возможность решения задач комбинаторной оптимизации. Позже с использованием имитации отжига была создана первая успешная многослойная нейронная сеть получившая название «машина Больцмана». Хоть алгоритм обучения машины Больцмана и не был так эффективен как алгоритм обратного распространения но все же доказывал, что выводы Минского и Пайперта были неверны.
Принцип целенаправленного самоорганизующегося управления был обоснован в 1984 году в работе «Vehicles: Experiments in Synthetic Psychology» [11] он гласит, что понимания сложного процесса легче достичь путем синтеза элементарных механизмов, а не анализа «сверху вниз».
В 1986 году Дэвид Румельхарт разработал алгоритм обратного распространения ошибок и описал его в своем труде «Learning representations of back-propagation errors» [12]. Этот алгоритм стал самым популярным алгоритмом обучения многослойных персептронов. Тогда же алгоритм обратного распространения получили и другие ученые в работах «Une procedure d'aprentissage pour reseau a seuil assymetrique» [13] и «Learning-logic: Casting the cortex of the human brain in silicon» [14]. В 1988 году Линскер описал новый принцип самоорганизации в перцепционной сети в работе «Self-organization in perceptual network» [15] основанный на теории информации, созданной Шенноном в 1948 году. На основе теории информации он сформулировал принцип максимума взаимной информации Infomax, что открыло двери применению теории информации в нейронных сетях. В том же году Брумхед и Лове описали альтернативу многослойному персептрону — процедуру построения многослойной сети прямого распространения на базе радиальных базисных функций в работе «Multivariable dunctional interpolation and adaptive networks»[16], которая позже получила развитие путем применения к ней теории регуляризации Тихонова.
В начале 1990-х Вапник вместе с коллегами выделили мощный с вычислительной точки зрения класс сетей, обучаемых с учителем, названный машины опорных векторов. Такие сети позволяют решать задачи распознавания образов, регрессии и оценки плотности.
Со времен публикации статьи Мак-Каллока и Питтца нейронные сети прошли внушительный путь эволюционного развития от юного направления на стыке математики и биологии до междисциплинарной отрасли науки тесно связанной с математикой, физикой, биологией, психологией. Современные технические средства позволили исследователям воплотить идеи самообучаемых систем, результаты работы которых сегодня можно встретить в большинстве сфер жизни, связанных с обработкой информации от развлечений до серьезных исследований, помогающих спасать и сохранять человеческие жизни. Искусственный интеллект сегодня развивается бурно, проникая во все новые сферы применения, помогая человечеству подниматься все дальше по ступеням прогресса.
Глава 2. Аналогия нейронных сетей с мозгом
и биологическим нейроном
Строение нейронных сетей определяется аналогией с человеческим мозгом, который является ярким примером того, что отказоустойчивые параллельные вычисления не только физически реализуемы, но и являются быстрым и мощным инструментом решения задач.
Мозг представляет собой сложную, нелинейную, параллельную систему обработки информации. Основной составной единицей человеческого мозга являются специфические клетки называемые нейронами. В коре головного мозга имеется около 1011 нейронов каждый из которых имеет множество связей с нейронами по всему мозгу через синаптические отростки длинной до одного метра. В целом мозг человека имеет приблизительно от 1014 до 1015 взаимосвязей. В процессе своей работы нейроны способны накапливать опыт предыдущих действий и применять его к последующим.
Аналогично мозгу человека в искусственных нейронных сетях работа проводится с искусственными нейронами которые являют собой основную составную часть нейронной сети. В общем случае нейронная сеть представляет собой машину моделирующую способ обработки мозгом конкретной задачи. Для того чтобы добиться высокой производительности, нейронные сети используют множество взаимосвязей между элементарными ячейками вычислений — нейронами. Таким образом можно дать следующее определение нейронной сети.
Нейронная сеть — это огромный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих из для последующей обработки. Нейронная сеть сходна с мозгом в двух аспектах:
Задания поступают в нейронную сеть из окружающей среды и используются в процессе обучения.
Для накапливания знаний применяются связи между нейронами, называемые синаптическими весами.
Процедура, используемая для обучения нейронных сетей называется алгоритмом обучения. Подобно человеческому мозгу который способен настраивать нервную систему в соответствии с окружающими условиями, алгоритм обучения выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов.
Из выше сказанного можно сделать вывод, что несмотря на сходства нейронных сетей с биологической структурой мозга, искусственные нейросети способны моделировать лишь основные принципы работы мозга. Так в компьютерных моделях нейроны сильно упрощены относительно своих биологических аналогов, сети создаваемые искусственно сильно уступают биологическим в масштабах, и не способны обеспечить гибкость биологических структур по перестройке собственных структур.
Глава 3. Понятие искусственного нейрона
Нейрон представляет собой единицу обработки информации в нейронной сети. Искусственный нейрон в примитивном виде имитирует работу биологического нейрона. На вход нейрона приходит несколько сигналов, которые в свою очередь исходят из выходов нейронов расположенных раньше в нейронной сети — этот механизм представляет собой аналог биологического синапса. Сигнал каждого синапса умножается на свой синаптический вес который определяет силу каждого входа, после этого все полученные произведения суммируются, определяя уровень активации нейрона. На рис.1 изображена модель нейрона.
Рис 1.Модель нейрона
Множество входных сигналов других нейронов обозначенные x1, x2 … xj приходят на вход нейрона. Каждый поступивший сигнал умножается на соответствующий ему вес wk1, wk2 … wkj, и поступает на сумматор (или суммирующий блок). Индексы синаптического веса wkj указаны в следующем порядке: первый индекс относится к данному нейрону, а второй ко входному окончанию синапса, с которым связан данный вес. В нейронных сетях в отличие от синапсов мозга, веса синапсов могут иметь как положительные, так и отрицательные значения. Далее сумматор складывает полученные после взвешивания входные сигналы. После этого сигнал преобразуется функцией активации которая ограничивает амплитуду выходного сигнала нейрона, которая обычно лежит в интервале [0,1] или [-1,1]. В модель нейрона показанную на рис.1 включен также пороговый элемент обозначенный символом bk, который отражает изменение входного сигнала, подаваемого на функцию активации.