Файл: Нейронные сети.pdf

В настоящее время, использование нейронных сетей для решения задач высокой сложности вызывает трудности, связанные с надежностью их работы, так как они могут быть неточны даже при их правильном функционировании, поэтому многих случаях, требуется применения синтеза нескольких методов решения. С начала нынешнего века в работах различных исследователей появляются описания нейро-нечётких сетей и ячеечно-нейросетевых моделей. В будущем будет происходить дальнейшая интеграция методов искусственного интеллекта между собой и с другими методами решения задач.

2. Аналогия нейронных сетей с мозгом и биологическим нейроном

С точки зрения биологии нейронная сеть – это совокупность нейронов центральной нервной системы, то есть, головной мозг и остальные ее части. В конце XIX века большой прорыв в понимании природы поведения живых организмов на земле и человека дало открытие биологических нейронных сетей и начало изучения их свойств. После того, как основные свойства и принципы организации нейросетей были изучены и взяты на вооружение математиками и программистами, сформировалось понятие искусственных нейронных сетей. В настоящее время искусственные нейронные сети активно используются в самых различных областях – физике, технике, медицине.

Мышление заключается в познании сути вещей и явлений, закономерных связей и отношений между ними, как отражение действительности окружающего нас мира. Мозг – это орган мышления, а также – нейронная сеть. В течение развития человеческой цивилизации изобретались способы облегчения труда, сначала каменный молот, сейчас механизация и автоматизация производства. И прогресс движется вперед – человек создает искусственные нейронные сети, которые мыслят за него. Но пока, современные нейросети создаются, чтобы решать задачи конкретных предметных областей и наделяют упрощенной в миллионы раз способностью мыслить.

Кора головного мозга человека содержит около 10¹¹ нейронов, а каждый нейрон связан с 10³ - 10⁴ другими нейронами. Каждый нейрон является сложным, имеет свои составляющие, подсистемы и механизмы управления и передает информацию через огромное количество электрохимических связей. Насчитывают около сотни разных классов нейронов. Вместе нейроны и соединения между ними формируют недвоичный, нестойкий и несинхронный процесс, отличающийся от процесса вычислений традиционных компьютеров. Искусственные нейросети моделируют лишь главнейшие элементы сложного мозга.

Итак, нейросеть – это совокупность связанных между собой нейронов. Значит, достаточно смоделировать несколько нейронов и размножить их, чтобы получить цельную нейросеть. Чтобы это сделать, нужно знать как устроены и функционируют сами нейроны.

Рис. 2.1 – Нейрон

Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (Рис. 2.1). Он состоит из тела клетки или сомы, и двух типов внешних древоподобных ветвей: аксона и дендритов. Тело клетки включает плазму, которая производит необходимые для нейрона материалы, и ядро, которое содержит наследственную информацию. Нейрон получает импульсы от других нейронов через приемники - дендриты и передает сигналы, сгенерированные телом клетки, вдоль аксона, который в конце разделяется на волокна. На окончаниях этих волокон находятся синапсы (рис. 2.2).

Рис. 2.2 – Синапс

Синапс – это место контакта между двумя нейронами, которое служит для передачи нервного импульса. Когда импульс достигает синаптической связи, высвобождаются определенное химическое вещество. Это вещество называется нейромедиатор. Чем важнее сигнал, тем больше выделяется нейромедиатора. Присутствие нейромедиатора в синаптической щели возбуждает или затормаживает способность клетки-приёмника генерировать электрические импульсы. Результативность синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.

Нейроны головного мозга действуют медленнее, чем транзисторы компьютера. Нейрон получает входные сигналы и, объединяя их, принимает решение генерировать либо нет импульс, для передачи синапсам соседних нейронов. Обычный нейрон может выполняет такую операцию и возвращается в исходное состояние за 5 миллисекунд. То есть за 1 секунду он выполняет около 200 таких операций! Современные компьютеры выполняет несколько сотен миллиардов операций в секунду. Значит, одна компьютерная операция выполняется в миллиарды раз быстрее, чем обычная операция в человеческом мозге.

Но наш мозг действует быстрее при выполнении сложных операций, типа распознавания образов, чем самые мощные цифровые компьютеры. Можно предположить, что это происходит т.к. в мозгу миллиарды клеток, работающих одновременно и параллельно над задачей. Для проверки этого предположения можно провести эксперимент с картинками. Человеку показывают фотографию собаки и спрашивают, что изображено. Если он видит собаку, то нажимает кнопку. Для современных компьютеров такая задача пока еще является сложной, а человек правильно отвечает за пол секунды. Значит информация, поступившая в ваш мозг человека, проходит цепочку около 100 нейронов, а это в миллиарды раз меньше количества операций выполняемых за это время компьютером.

В результате таких рассуждений обнаруживается, что количество информации, передаваемое от одного нейрона другому, должно быть очень маленьким. Значит основная информация не передается непосредственно от нейрона к нейрону, а распределяется в связях между нейронами. Исследования доказывают, что биологические нейроны структурно гораздо сложнее, чем упрощенная модель - искусственный нейрон, который является элементом современных искусственных нейронных сетей. Поскольку нейрофизиология предоставляет ученым широкое понимание действия нейронов, а технологии вычислений совершенствуется, разработчики сетей имеют неограниченное пространство для улучшения моделей биологического мозга.

3. Понятие искусственного нейрона

Одна из первых успешных попыток построения формальной модели реальных нейронов была предпринята в 1943 году Уорреном Мак-Каллоком и Уолтером Питтсом. Они считали, что произвольную высшую нервную деятельность, можно представить, как некоторую активность в сети, состоящей из логических элементов, принимающих только два состояния (1 или 0). А для каждого логического выражения можно сопоставить сеть логических элементов, обладающих  поведением, которое описывается некоторым выражением. На Рис. --- изображена модель формального нейрона, которая была предложена в дополнении к теории. Нейрон вычисляет взвешенную сумму n входных сигналов x_j, j = 1,2..n, и формирует на выходе сигнал величины 1, если эта сумма превышает определенный порог u, и 0 – в противном случае. Положительные синаптические веса Wi соответствуют возбуждающим связям, а отрицательные – тормозным. Мак-Каллок и Питтс доказали, что если подобрать веса соответствующим образом, то система параллельно работающих нейронов будет способна выполнять универсальные действия. Таким образом, можно провести аналогию между биологическим и формальным нейроном: взаимосвязь имитируется аксонами и дендритами, веса связей соответствуют синапсам, а пороговая функция отражает активность сомы. Входные сигналы преобразуются нейроном в выходной сигнал с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования(рис 3.1).

Рис. 3.1 Функциональная схема формального нейрона Мак-Каллока и Питтса

Ключевой элемент этой модели — веса. Именно они придают системе гибкость и позволяют настроиться на решение определенной задачи. Сигнал, который умножается на большой вес, дает больший вклад в общую сумму, а сигнал с нулевым весом не учитывается вовсе.

Современный искусственный нейрон (рис.3.2) практически не отличается от описанного Уорреном Мак-Каллоком и Уолтером Питтсом. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга. Синапсы осуществляют связь между нейронами, при получении входной сигнал умножают на число, характеризующее силу связи – вес синапса. Сумматор осуществляет сложение поступающих внешних входных сигналов в соответствии с их весами. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется передаточной функцией нейрона или функцией активации.

Рис. 3.2. Структура искусственного нейрона

 Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

Y = f(S)

где Wi, - вес синапса; b - значение смещения; S - результат суммирования; Xi - компонент входного вектора; Y - выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование - функция активации.

В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход Y определяется видом функции активации и может быть как действительным, так и целым.

Синаптические связи с отрицательными весами – тормозящими, с положительными весами называют возбуждающими.

На входной сигнал (S) нелинейный преобразователь отвечает выходным сигналом f(S), который представляет собой выход Y нейрона. Примеры активационных функций представлены в табл. 3.1. и на рис. 3.3.

Таблица 3.1

Рис. 3.3. Примеры активационных функций
а - функция единичного скачка; б - линейный порог (гистерезис); 
в - сигмоид (логистическая функция); г - сигмоид (гиперболический тангенс)

Одной из самых часто используемых является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид:

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). При уменьшении α сигмоид становится более пологим, в пределе при α = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении α сигмоид приближается к виду функции единичного скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством предотвращать насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон, а также усиливает слабые сигналы лучше, чем большие.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть отличие искусственных от биологических, их иногда называют формальными нейронами или нейроноподобными элементами.

4. Виды искусственных нейронных сетей

Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. Несмотря на существенные различия, отдельные типы искусственных нейронных сетей (ИНС) обладают несколькими общими чертами. Во-первых, основу каждой ИНС составляют относительно простые, в большинстве случаев – однотипные, элементы - искусственные нейроны. Во-вторых, принцип параллельной обработки сигналов, который достигается объединением большого числа нейронов в слои, соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, нейронов одного слоя между собой. Как правило, передаточные, активационные функции всех нейронов в сети фиксированы, а веса являются параметрами сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые выходы – как внешние выходы сети. Подавая любые числа на входы сети, мы получаем какой-то набор чисел на выходах сети. Таким образом, работа нейросети состоит в преобразовании входного вектора X в выходной вектор Y.

По архитектуре связей нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых нет обратных связей и сети рекуррентного типа, в которых возможны обратные связи от выходов некоторого слоя к входам предшествующих слоев или этого же слоя.