Файл: Свойства и методы работы с нейронными сетями.pdf

Введение

Традиционные методы прогнозирования в настоящее время уже не считаются хорошими с точки зрения точности. Более того, прогресс не стоит на месте, появляются новые задачи, которые также требуют и точности, и быстроты, и простоты их решения. К таким задачам можно отнести скоринг-анализ - попытку банка дать прогноз платежеспособности клиента и дальнейшего решения о выдаче ему займа и т. д [6, с. 24]^[1].

И подобных задач много. Они встречаются в экономике, технике, производстве, медицине, биологии, геологии, военном деле и во многих других областях и послужили, в какой-то степени, развитию ЭВМ, затем персональных компьютеров и многих различных компьютерных программ, которые помогают человеку решать описанные выше задачи, в том числе и по прогнозированию.

Все это вылилось в целое направление, которое назвали машинным обучением, или искусственным интеллектом. Машинное обучение основано на применении искусственных нейронных сетей, в какой-то степени, имитирующих работу мозга человека.

Целью данной курсовой работы является изучение свойств и методов работы с нейронными сетями и применение полученных знаний на практике.

В выполнения поставленной цели необходимо выполнить следующие задачи:

1. Ознакомиться с историей возникновения и развития нейронных сетей.

2. Рассмотреть определение нейронной сети, ее состава и методов работы с ней.

3. Выполнить практическое задание с использованием программного комплекса Matlab.

I. Теоретическая часть

Глава 1. История развития нейронных сетей

Нейронная сеть - сеть элементарных алгоритмов, связанных по входам и выходам. Связи снабжены весами, которые настраиваются с целью получения нужной реакции сети.

Начальный этап проходит естественным образом, усматривается в рамках логики. Аристотель ввел соответствующую концепцию - объем понятия. Сейчас соответствующие конструкции - это множество и класс.

Нейронные сети и комитетные конструкции связаны с голосованием. Коллективные решения были предметом размышлений еще в Античности. Плиний младший, Архимед и Аристотель задавались вопросом, что можно называть большинством, почему надо считаться только с большинством и т. д. Более конструктивно и критично эти проблемы рассматривали Ж. А. Кондорсе и Ж. Ш. де Борда, французские академики, в XVIII в. Они обнаружили парадокс нетранзитивности мажоритарного голосования. Позднее, в 1950-х, К. Д. Эрроу доказал теорему о невозможности универсального коллективного договора [2, с. 123]^[2].

С этой тематикой непосредственно связан вопрос об эмпирической индукции. Понятие «эмпирическая индукция» введено Ф. Бэконом. С тех пор существует проблема индукции, которой посвящена масса работ. Постановка проблемы индукции по самой своей сути относится к классу некорректно поставленных задач. Разумеется, это не является отрицательной чертой таких задач.

Канторова теория множеств также имеет отношение к данному вопросу, поскольку в распознавании изучаются классы объектов, которые могут быть и бесконечными, хотя бы потенциально.

Интересно, что идея обработки данных нейронными сетями может быть обнаружена еще в XIX в., достаточно указать на те исследования, которые провел В. Мич. Далее, оставаясь в рамках чистой логики, можно указать на чрезвычайно важный момент: Б. Рассел и А. Уайтхед рассмотрели математическое моделирование универсалий.

В рамках теории вероятностей и математической статистики имеется свой подход к эмпирической индукции - с XVI в. Речь идет об индуктивном выводе о свойствах генеральной совокупности на основе свойств выборки.

В 1930-е гг. идеи Б. Рассела и А. Уайтхеда нашли развитие в работах У. Мак Каллоха и У. Питтса. Это можно назвать начальным периодом нейросетей. Они доказали, что любая логическая функция многих переменных может быть реализована некоторой сетью линейных пороговых элементов.

В 1936 г. Р. Фишер ввел модель дискриминантного анализа (для разделения вероятностных распределений). В 1950 г. Э. Фикс и Дж. Ходжес ввели более широкую модель дискриминантного анализа все еще в рамках математической статистики. Метод Фикса и Ходжеса имеет отдаленное сходство с методом комитетов, так как в нем есть голосование по ближайшим соседям.

1949 г.: Д. Хебб предложил гипотезу о связях естественных нейронов, а также некое правило обучения искусственной нейронной сети.

1957 г.: продолжение линии нейронных сетей и в то же время применение теории линейных неравенств и математического программирования - персептроны Ф. Розенблатта.

1959 г.: Д. Хьюбел и Т. Визель изучали возможности распределенной и параллельной обработки информации в естественных нейронных сетях [5, с. 84]^[3].

История нейронных сетей с точки зрения метода комитетов как метода анализа многослойных ассоциативных машин может быть представлена следующим образом. В 1957 г. Розенблатт проводил опыты с обучением простейших частей — персептронов. В 1953 г. важную роль сыграла теорема А. Н. Колмогорова о представлении непрерывных функций многих переменных как суперпозиций функций от двух переменных. В современной трактовке это теорема о полноте нейронных сетей. В 1965 г. Вл. Д. Мазуров доказал одну теорему из теории линейных неравенств, она может быть интерпретирована как обоснование полноты и плотности слоистых нейронных сетей в пространстве всех задач с решениями - словами в конечном алфавите. Результат Ли Ю и М. И. Кацнельсона можно трактовать (как это сделал А. Н. Горбань) как результат о плотности слоистых нейронных сетей с непрерывным приближением сигнума. Это можно представить с другой точки зрения, а именно с точки зрения подалгебр слоистых нейронных сетей, замкнутых относительно нелинейной унарной операции.

С 1984 г. наблюдавшийся с 1975 г. (под влиянием М. Минского) скептицизм по отношению к нейронным сетям как к реальным информационным технологиям стал исчезать благодаря работе Дж. Хопфилда. В 1996 г. А. Н. Горбань подытожил результаты по полноте и плотности на чисто нейросетевом языке. В математической экономике соответственно возникли два новых направления:

1) нейросетевая имитация экономических объектов;

2) идентификация экономических моделей с помощью нейронных сетей.

Сейчас наблюдается настоящий нейросетевой бум, выходит много книг по этой тематике, и спрос на них велик.

Совершенной ясно, что нейронные сети - это новая методология решения задач: системный подход вместо аналитического, обучение и настройка вместо программирования, имитационный подход, аналоговые компьютеры нового поколения [2, с. 243]^[4].

И сейчас нейронные сети становятся все более приемлемыми решателями технико-экономических задач, демонстрируя свою универсальность. Если кратко выразить суть этих методов, то они используют настройку и обучение вместо программирования методов решения задач. В нейронной сети входная информация (постановка задачи) поступает вначале на слой входных нейронов (на сенсорный слой), затем результаты работы данного слоя поступают на сеть «скрытых» нейронов (на ассоциативный блок сети). Результаты работы этого слоя поступают на выходные нейроны (на реагирующий или решающий блок).

Глава 2. Аналогия нейронных сетей с мозгом и биологическим нейроном

Идея создания нейронных сетей появилась из-за желания заменить человека при некоторых расчетах и при решении каких-то сложных задач. По сути нужна была некоторая модель, которая могла бы имитировать человека, а если точнее - человеческий мозг. Благодаря достаточно глубоким познаниям о человеческом мозге, его структуре и появилась идея создания подобной системы. Конечно, говорить, что эта модель полностью копирует мозг человека, нельзя, но то, что она базируется на основных принципах его работы, - очевидный факт.

Если говорить точнее, то А. Бэйн и У. Джеймс в своих работах отметили, что мозговая деятельность происходит благодаря взаимодействиям нейронов. Затем уже были даны четкие представления о нервной клетке головного мозга, называемой нейроном. Совокупность нейронов головного и спинного мозга образует биологическую нейронную сеть. На ее основе были созданы уже искусственные нейронные сети.

Однако, чтобы лучше понять смысл искусственной нейронной сети и самого нейрона, мы сначала должны представить, из чего состоит и как работает биологический нейрон, чтобы впоследствии на основе уже изученного сформулировать определение формального нейрона и искусственной нейронной сети, которая по своей сути является компьютерной программой. Особенно важно понимать соотношение между строением нейрона и его функциями [7, с. 56]^[5].

Нейрон в своем строении во многом похож на другие клетки ткани, но тем не менее существенно отличается по своему функциональному назначению. Нейрон принимает информацию, преобразовывает ее и передает другим нейронам в виде импульсов нервной активности. Тело нейрона содержит совокупность ветвящихся отростков двух типов. Одни из них - дендриты - являются входными каналами для нервных импульсов от других нейронов. Эти импульсы поступают в сому, где вызывают некоторое возбуждение, которое распространяется по выводному отрезку, называемому аксоном.

Возбуждение нейрона передается другим нейронам, которые таким образом объединены в проводящую нервные импульсы сеть. Участки мембраны на аксоне, где размещаются области контакта аксона данного нейрона с дендритами других нейронов, называются синапсами. В области синапса, имеющего сложное строение, происходит обмен информацией о возбуждении между нейронами. Механизмы синоптической передачи достаточно сложны и разнообразны [1, с. 109]^[6].

Взаимодействующие между собой посредством передачи через отростки возбуждений нейроны формируют биологические нейронные сети. Активность нейронов при передаче и обработке нервных импульсов регулируется свойствами мембраны, которые могут изменяться под воздействием синоптических медиаторов.

Глава 3. Понятие искусственного нейрона

Нейрон является составной частью нейронной сети. Попробуем сформулировать математическую модель нейрона (так называемый формальный нейрон). Для этого вначале представим схему всех составляющих нейрона (рис. 1).

Рис. 1. Схема составляющих нейрона

Математическая модель нейрона:

,

где y - выходной сигнал нейрона;

f - нелинейное преобразование (функция активации);

n - число входов нейрона;

w_i - вес синапса;

xⁱ - компонента входного вектора (входной сигнал), i = 1, …,

b - внешний источник (значение смещения).

Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес сигнала).

Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов и от внешних источников.

Нелинейный преобразователь реализует функцию одного аргумента, т. е. выход сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.

Синаптические связи с положительными весами называют возбуждающими, с отрицательными - тормозящими. Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов [11, с. 213]^[7].

Глава 4. Виды искусственных нейронных сетей

Искусственная нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами.

Нейроны классифицируются следующим образом:

1. В зависимости от функций, выполняемых нейронной сетью: входные нейроны, выходные нейроны, промежуточные нейроны.
2. С точки зрения топологии нейронных сетей:

• полносвязные (рис. 2), т. е. каждый узел связан друг с другом;

Рис. 2. Полносвязные нейронные сети

• слоистые или многослойные (рис. 3):

Рис. 3. Слоистые или многослойные нейронные сети

Три подтипа слоистых сетей:

1) монотонные.

Каждый слой, кроме последнего, разбит на два блока - тормозящий (тогда функция монотонно невозрастающая) и возбуждающий (функция монотонно неубывающая).

Если от нейронов одного блока к нейронам другого блока идут возбуждающие связи, то любой выходной сигнал является монотонно неубывающей функцией.

2) без обратной связи и с обратной связью;

3) слабосвязные (рис. 4) (с локальными связями).

Рис. 4. Слабосвязные нейронные сети

Также нейронную сеть можно представлять, как граф с входами и выходами, где в вершинах графа - формальные нейроны [1, с. 20]^[8].