Файл: Нечеткая логика и нейронные сети.pdf

Введение

Такие области знаний, как нечеткая логика и искусственные нейронные сети – сравнительно новые области. Их бурное развитие началось во второй половине двадцатого века и продолжается сейчас.

Искусственные нейронные сети имеют большое значение в различных направлениях науки, таких как: математическая статистика, математическая логика и теория автоматов, пороговая логика, теория управления, вычислительная математика, вычислительная техника. Причем наибольший эффект от использования нейронных сетей приносят разработки на стыке наук. Другими словами, нейронные сети являются междисциплинарным предметом исследований. То же относится и к нечеткой логике в совокупности с нейронными сетями, в частности, развивается направление нейро-нечетких сетей. Нейро-нечеткая сеть – нейронная сеть прямого распространения сигнала в виде нечетких переменных.

Использованные источники литературы не вызывают сомнений, так как выпущены известными издательствами, включая иностранные. Источники, взятые из Интернета, вполне заслуживают доверия, поскольку относятся к официальным сайтам фирмы IBM и сообществу Electronic Engineering Times.

Глава 1. История развития нейронных сетей

Исследования в области нейросетевых технологий ведутся практически с 40-х годов двадцатого века. Теория искусственных нейронных сетей (ИНС), как научное направление, была начата в работе Уоррена Мак-Каллока и Уолтера Питтса, заложивших основы двух направлений исследований нейронных сетей [11], [13]. Первое направление было ориентировано на изучение биологических процессов в головном мозге, второе – на применение нейронных сетей (НС) для создания искусственного интеллекта. В своей работе эти ученые описали логику вычислений в нейронных сетях на основе достижений нейрофизиологии и математической логики. Эта формализованная модель нейрона соответствовала принципу «все или ничего». Ученые показали, что сеть, составленная из большого числа таких элементарных единиц, правильно соединенных сконфигурированными и синхронно работающими синаптическими связями принципиально способна проделывать любые вычисления. Это был реальный прорыв в области моделирования нервной системы.

В конце 40-х годов Дональд Хебб выдвинул свою теорию обучения ИНС [12], основанную на механизме нейронной пластичности [7]. В опубликованной им книге приводится четкое определение физиологического правила обучения для синаптической модификации. В частности, Хебб предположил, что, по мере того как организм обучается различным функциональным задачам, связи в мозге постоянно изменяются и при этом формируются ансамбли нейронов. Знаменитый постулат обучения Хебба гласит, что эффективность переменного синапса между двумя нейронами повышается при многократной активации этих нейронов через данный синапс. Книга Хебба стала источником вдохновения при создании вычислительных моде­лей обучаемых и адаптивных систем [3]. В результате попыток использования компьютерного моделирования для проверки формализованной теории нейронов, основанной на постулате обучения Хебба, оказалось, что для полноты этой теории к ней сле­дует добавить принцип торможения.

В 1962 году американский ученый Фрэнк Розенблатт для решения проблемы классификации символов предложил использовать особый тип ИНС, получивший название «Перцептрон» [9], [10]. В 1958 году Ф. Розенблаттом был создан первый нейрокомпьютер «Марк1», работавший на основе перцептрона. Советские ученые, Александр Петров и Михаил Бонгард в 60-х годах начали заниматься изучением перцептрона и его возможностей [8]. В 1969 году американские ученые М. Минский и С. Паперт опубликовали доказательство того, что возможности перцептрона имеют существенные ограничения [6]. После появления этой работы большинство исследований в области ИНС были приостановлены на полтора десятилетия [1].

Однако в1982 году американский специалист Д. Хопфилд сумел достичь двусторонней передачи информации между нейронами и изобрел ассоциативную нейронную сеть [10]. Специализация узлов, предложенная Хопфилдом, позже нашла применение в первых гибридных нейронных сетях. С середины 80-х годов теория нейронных сетей получила технологическую поддержку, благодаря появлению доступных высокопроизводительных персональных компьютеров, Наибольших результатов в области персональных компьютеров достигла американская компания IBM. Первые результаты в проектировании нейронных сетей были продемонстрированы в ноябре 2009 года. Компания IBM представила успешно смоделированный мозг кошки [16]. Но следует отметить, что тогда его работа была в более чем в 600 раз медленнее реального процесса.

Следующий шаг в развитии ИНС произошел в августе 2011 года, когда на фирме IBM создали передовой на тот момент нейронный процессор, который содержал 256 нейронов и 262144 синапсов [15]. В ноябре 2012 г. на конференции «Supercomputing 2012» этой компанией были опубликованы итоги работы над моделированием нейрокомпьютера, который можно было бы сопоставитьс мозгом человека (он «состоял» из 530 миллиардов нейронов и 137 триллионов синапсов). Эта модель, осуществлявшаяся на базе суперкомпьютера «Sequoia»,проводилась в 1542 раза медленнее реального процесса в мозге, в работе были задействованы 1572864 ядер и 1,5 петабайта памяти [16].

В августе 2014 г. произошло важное событие для научно-технического сообщества: компания IBM в рамках программы SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) представила нейросинаптический процессор для архитектуры TrueNorth. На сегодняшний день это – одна из последних разработок в данном направлении [17]. TueNorth насчитывает 1 миллион программируемых нейронов, объединенных в 4096 нейросинаптических вычислительных ядер,256 миллионов синапсов и имеет колоссальное число транзисторов – 5,4 миллиарда, что является рекордным количеством для чипов, основанных на традиционной CMOS-логике (CMOS, complementary metaloxidesemiconductor, в переводе: комплементарная структура металлоксидполупроводник). Таким образом, всего за три года был совершен скачок от 256 нейронов и 262144 синапсов до 1 миллиона и 256 миллионов соответственно. Разработанный процессор соответствует всем главным признакам и особенностям нейросетей: в процессе своей работы он способен самообучаться, анализировать и приходить разными путями к решению нестандартных или нечетко сформулированных задач. Отдельного рассмотрения заслуживает описание режима энергопотребления TrueNorth: в этом направлении значительных результатов удалось достичь: во время работы в режиме реального времени потребляемая мощность составила всего 70 МВт, что на несколько порядков меньше затрат энергии, требующейся процессорам традиционной архитектуры. При этом производительность нового чипа составляет 46 миллиардов синаптических операций в секунду на один ватт [17]. Для сравнения можно привести следующие сведения: человеческий мозг насчитывает более 85 миллиардов нейронов и более 100 триллионов синапсов [7]. Теоретически, имея 85 тысяч процессоров TrueNorth, можно воссоздать человеческий мозг. Несомненно, что такой опыт позволит науке вплотную приблизиться к пониманию одной из величайших загадок – человеческому сознанию. Подобный технический прорыв открывает современной науке целый ряд значимых перспектив как в нейробиологии, так и в кибернетике.

На практике возможны следующие направления использования нейронных сетей [3]:

• Медицинская диагностика;
• Распознавание речи;
• Анализ потребительского рынка;
• Прогнозирование объема продаж и управление закупками;
• Управление ценами и производством;
• Исследование факторов спроса на товары;
• Прогнозирование потребления энергии;
• Проектирование и оптимизация сетей связи;
• Оценка стоимости недвижимости;
• Анализ страховых исков;
• Обслуживание кредитных карт (отслеживание несанкционированных операций);
• Прогнозирование изменения котировок валют.

Выводы по главе

Загадки работы мозга и результаты его изучения подтолкнули ученых к разработке теории искусственных нейронных сетей. Развитие этой теории и практические воплощения в конкретных ЭВМ и программах привело в наши дни к действующим моделям мозга и практическому использованию нейронных сетей для решения многих задач.

Глава 2. Аналогия нейронных сетей с мозгом и биологическим нейроном

Для того, чтобы провести аналогию нейронных сетей с мозгом и искусственного нейрона с биологическим нейроном, необходимо в общих чертах ознакомиться с устройством мозга и с функционированием нейронов в нем. Рассмотрим принципы работы человеческого мозга.

Мозг состоит и особых клеток – нейронов. Нейрон в переводе с древне-греческого означает волокно, нерв – это структурно-функциональная единица нервной системы. Эта клетка имеет сложное строение, высоко специализирована и по структуре содержит ядро, тело клетки и отростки. В организме человека насчитывается более ста миллиардов нейронов [2].

Нейроны содержат отростки двух типов: дендриты и аксоны.

Дендриты служат в качестве входных каналов нервных импульсов от других нейронов. Импульсы поступают в тело клетки, вызывая ее возбуждение, которое распространяется по отросткам второго типа – аксонам (рис.2.1).

Рис. 2.1. Схема биологического нейрона

Тело нервной клетки состоит из протоплазмы (цитоплазмы и ядра), снаружи ограничена мембраной из двойного слоя липидов. Липиды состоят из гидрофильных головок и гидрофобных хвостов. Липиды расположены гидрофобными хвостами друг к другу, образуя гидрофобный слой, который пропускает только жирорастворимые вещества, такие как кислород и углекислый газ. На поверхности мембраны, находятся белки, благодаря которым клетка воспринимает внешнее раздражение, и интегральные белки, пронизывающие мембрану насквозь, в которых находятся ионные каналы [5].

Нейрон имеет развитый и сложный цитоскелет, проникающий в его отростки. Цитоскелет поддерживает форму клетки, его нити служат направляющими для транспорта органелл и упакованных в мембранные пузырьки веществ, включая нейромедиаторы. Тело нейронов, заполненное токопроводящим ионным раствором, окружено мембраной, обладающей низкой электрической проводимостью. Между внутренней поверхностью мембраны аксона и внешней средой поддерживается разность электрических потенциалов. Под воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически изменяет свою проводимость. Импульс деполяризации клеточной мембраны, называемый спайком, распространяется вдоль аксона практически без затухания. Аксоны объединены в сеть, проводящую нервные импульсы [7].

Возбуждение нейрона в виде спайка передается другим нейронам, которые через аксоны данного нейрона соединяются с дендритами других нейронов через элементы, называемые синапсами (рис. 2.1). Механизмы синаптической передачи могут иметь химическую и электрическую природу. В химическом синапсе в передаче импульсов участвуют химические вещества, нейромедиаторы, вызывающие изменения в проницаемости локального участка мембраны. В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим или тормозящим действием. Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, поэтому нейрон в целом функционально является или тормозящим, или возбуждающим.

Сила импульса при прохождении синапса меняется в некоторое число раз, называемое весом синапса. Импульсы, поступившие к нейронам одновременно по нескольким дендритам, суммируются. Если суммарный импульс превышает некоторый порог, нейрон возбуждается, формируя собственный импульс. Тогда импульс передается по аксону, при этом веса синапсов могут меняться со временем, и следовательно, может меняться и поведение нейронов [7].

Выделяют несколько типов нейронных сетей, отличающихся структурой и назначением [5]:

1. Иерархические сети. Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому. Нейроны образуют два типа соединений:
   1. Конвергентные, когда большое число нейронов одного уровня контактируют с меньшим числом нейронов следующего уровня.
   2. Дивергентные, когда контакты устанавливаются со все большим числом клеток последующих слоев иерархии.

Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что обеспечивает надежность нейронной сети.

1. Локальные сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии при этом локальная сеть представляет собой довольно изолированную тормозящую или возбуждающую структуру.

Нейронные структуры демонстрируют свойство изменчивости, обуславливающее их адаптацию к конкретным условиям функционирования. Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов. Характер метаболической активности нейронов и проницаемость синаптической мембраны может меняться в ответ на длительную активизацию или торможение нейронов. Изменчивость на уровне локальной сети связано с тем, что нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Изменчивость нейронных сетей лежит в их способности к обучению.

Морфологическое строение нейронов многообразно. В связи с этим при классификации нейронов применяют несколько принципов [7]:

• учитывают размеры и форму тела нейрона;
• количество и характер ветвления отростков;
• длину нейрона и наличие специализированных оболочек.

По количеству отростков имеются следующие типы нейронов:

• униполярные (с одним отростком) нейроциты, присутствующие, например, в сенсорном ядре тройничного нерва в среднем мозге;
• псевдоуниполярные клетки, сгруппированные вблизи спинного мозга в межпозвоночных ганглиях;
• биполярные нейроны (имеют один аксон и один дендрит), расположенные в специализированных сенсорных органах — сетчатке глаза, обонятельном эпителии и луковице, слуховом и вестибулярном ганглиях;
• мультиполярные нейроны (имеют один аксон и несколько дендритов), они преобладают в центральной нервной системе.

Искусственные нейроны и способы их соединения с другими нейронами, то есть нейронные сети, по сути, есть упрощенные модели реальных нейронов и их структур в мозге.

Выводы по главе

Теория нейронных сетей возникла благодаря результатам исследования нервной ткани, строения мозга. Схемы искусственного нейрона стали моделями биологических нейронов а искусственные нейронные сети - моделями мозга.

Глава 3. Понятие искусственного нейрона

Нейрон (формальный, искусственный) — элементарный преобразующий элемент, составная часть нейросети. Он состоит из элементов трех типов и выполняет две основные функции — взвешенное суммирование и нелинейное преобразование. Элементы нейрона — умножители (роль синапсов), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами, умножают входной сигнал ( x_j ) на число, характеризующее силу связи, вес синапса ( w_j ). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов и внешних входных сигналов. Нелинейный преобразователь выполняет нелинейную функцию одного аргумента — выходного сигнала сумматора [4].