Файл: Решение задачи на кредитоспособность клиента.pdf

Введение

Целью данной работы является освоение теоретических знаний о нейронных сетях, а также демонстрация приобретенных навыков работ с ПО Matlab Fuzzy Logic Toolkit. В первых пяти главах мы рассмотрим теоретическую часть, связанную с историей развития нейронных сетей, сравним нейронную сеть с мозгом, рассмотрим, что такое искусственный нейрон, а также виды нейронных сетей, ну и, конечно, рассмотрим вопрос обучения нейронных сетей.

После рассмотрения теоретического материала необходимо продемонстрировать навыки работы с ПО. Для этого мы решим задачу, в соответствии с вариантом:

Задача на кредитоспособность клиента.

В задаче требуется определить, под какой процент банку можно предоставить кредит клиенту. Входные сигналы:

• Кредитная история (хорошая, плохая);
• Платежеспособность клиента (хорошая, средняя, плохая);

Выходной сигнал:

• Значение процента кредита для клиента (низкий процент, средний процент, высокий процент).

Задача решается с применением следующих правил принятия решения:

• Если кредитная история хорошая, платежеспособность хорошая, то процент по кредиту низкий.
• Если кредитная история хорошая, платежеспособность средняя, то процентная ставка средняя.
• Если кредитная история плохая, платежеспособность плохая, то процентная ставка высокая.

В заключительной части необходимо сделать выводы по проделанной работе.

Глава 1. История развития нейронных сетей

История изучения процессов мышления восходит к самым древним философам – еще Аристотель занимался этим вопросом, результатом его работы стало формулирование принципов, руководящих рациональной частью мышления. После него время от времени ученые и философы возвращались к данной теме, однако, вплоть до начала 20 века в этой области было достигнуто не так много успехов, однако именно исследования ученых и философов, начиная с древнегреческих философов и заканчивая математиками 19 века, заложили мощную базу, стоящую на математическом и логическом аппарате, а также подарили миру несколько механических машин, способных производить некоторые расчеты, опираясь на законы математики и логики.

Стремительно развивающаяся в 20 веке наука и техника позволила продолжить изыскания в области познания и привела к тому, что были сформулированы понятия, которые сейчас лежат в основе предметной области, относящейся к нейронным сетям.

---

Принято следующее определение искусственных нейронных сетей - математические модели, а также их программные и аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. Впрочем, существуют и другие определения, однако все они сводятся к попытке человека смоделировать мыслительные процессы.

Развитие нейронных сетей можно разделить на три этапа:

1. Прорыв в области нейроинтеллекта. Данный этап характеризуется введением в научную среду основных понятий, связанных с нейронными сетями и искусственным интеллектом и в большей степени характеризуется теоретическими изысканиями, в частности:
   • 1943 г. – выход статьи У. Маккалока и У. Питтса о нервной активности, в которой и было сформулировано понятие нейронной сети и была предложена модель такой сети, основанная на электрических схемах.
   • 1948 г. – Н. Винер публикует работу о кибернетике.
   • 1949 г. – Д. Хебб предлагает первый алгоритм обучения.
   • 1958 г. – Дж. фон Нейман предложил имитацию простых функций нейронов с использованием вакуумных трубок.
   • 1958 г. – Ф. Розенблатт изобретает однослойный перцептрон.

Этот период характеризуется повышенным интересом к отрасли и наличием технологического барьера – всем казалось, что нужно всего лишь сконструировать достаточно большую нейронную сеть и аналог человеческого мозга будет создан.

1. Пессимизм. С ростом возможностей электротехнической промышленности был в значительной степени преодолен технологический барьер, однако задачи, которые ставились перед конструкторами нейронных сетей, так и не были решены. Более того, было выявлено некоторое количество проблем, например:
   • Нейронные сети не были приспособлены к решению подобных задач – то есть при успешном решении одной задачи сеть не могла решить внешне схожую с ней задачу.
   • Теоретическая неспособность однослойных сетей решать многие простые задачи.
   • Пессимистические публикации по теме, например, в 1969 году М. Минский опубликовал формальное доказательство ограниченности перцептрона, доказав тем самым его неспособность решать достаточно широкий круг задач.

Вполне естественно, что в такой обстановке исследователям достаточно сложно было убеждать лиц, принимающих решения, о необходимости продолжать исследования.

1. Оптимизм. Те немногие ученые, которые смогли найти средства на исследование, сформировали теоретическую базу, с применением которой стало возможным построение многослойных сетей, лишенных недостатков перцептрона. Этот период во многом характеризуется решением проблем, связанных с обучением таких сетей:
   • 1974 г. – П. Вербосом разработан алгоритм обратного распространения ошибки для обучения многослойных перцептронов, который был позже независимо сформулирован и другими учеными. Однако этот метод не является универсальным и в некоторых случаях обучение сети по этому методу невозможно.
   • 1975 г. – К. Фукусима разрабатывает когнитрон - самоорганизующуюся сеть для инвариантного распознавания образов.
   • 1980 г. – он же разрабатывает парадигму неокогнитрона.
   • 1982 г. – Дж. Хопфилд разрабатывает нейронную сеть с обратными связями. Это была первая рекуррентная сеть, которая добавила нейронным сетям свойства ассоциативной памяти.
   • 1982 г. – Т. Кохонен представляет модели сети, обучабщейся без учителя на основе самоорганизации.
   • 1987 г. – Р. Хехт-Нильсон разрабатывает сети встречного распространения, характеризующиеся уменьшенным временем обучения.

---

На этом многие проблемы скорости и алгоритмов обучения сетей были решены. Однако отсутствие «памяти» сети, названное проблемой стабильности-пластичности, осталась.

• • 1987 г. – С. Гроссберг создал адаптивно-резонансную теорию, а также модели сетей, построенных на ее основе. Данные модели уже «не забывали» старые образы при переобучении сети.
  • 2000-е годы – группами разных ученых были предложены несколько способов решения проблемы попадения в локальный минимум, в основном, решения были построены на применении стохастических методов обучения.
  • 2007 г. – Дж. Хинтон предложил алгоритмы глубокого обучения многослойных нейронных сетей.

Вплоть до наших дней продолжается улучшение нейронных сетей, проектируются новые модели, имеющие свои особенности. Перспективы их развития в современном обществе напрямую связаны с той областью, в которой они будут использованы. Кроме того, до сих пор нет свидетельств об исключительной надежности нейронных сетей, поэтому решение критических задач им по-прежнему доверять нельзя, по крайней мере, без проверки принятия решения со стороны человека.

Глава 2. Аналогия нейронных сетей с мозгом и биологическим нейроном

Как уже говорилось в первой главе, в основу построения нейронных сетей лег огромный пласт знаний о том, как строится человеческое мышление, логический и математический аппарат, а также, естественно, биологическое строение мозга. Если мы будем рассматривать нейрон в ИНС, мы столкнемся с тем, что понятия, применяемые там, очень похожи на те, которые используются в биологическом нейроне и в биологических нейронных сетях, которые являются ничем иным как совокупностью биологических нейронов головного и спинного мозга ЦНС человека и выполняют специфические физиологические функции.

Впервые о нейронных сетях упоминают А. Бэйн и У. Джеймс, оба исследователя приходили в своих работах к выводу о том, что мыслительная деятельность есть результат взаимодействия нейронов в головном мозге. При этом, согласно исследованиям Бэйна, любая деятельность задействует определенный набор нейронов и при повторении этой деятельности задействуется примерно тот же набор нейронов, а многократное повторение ведет к появлению памяти – в биологическом смысле это означает установление связи между нейроноами. У Джеймса за установление связи отвечали электрические импульсы, в остальном работа была достаточно схожа. На момент написания работы, а это были 80-е годы 19 века, научное общество не было готово принять такое объяснение, однако сейчас это кажется весьма правдоподобным.

---

Остановимся немного подробнее на том, как вообще работает мозг человека. Нервные клетки в теле человека объединяются в центральную нервную систему, сами клетки и их волокна связаны между собой. Выделяют головной и спинной мозг как средоточие нервных клеток, которые, в свою очередь, образуют более мелкие подразделы мозга.

Спинной мозг в этой системе выступает в роли шины, которая собирает сигналы от большинства рецепторов тела и передает их в головной мозг для обработки. Через структуры таламуса сигналы распространяются и проецируются на кору больших полушарий головного мозга. Часть сигналов обрабатывается мозжечком. Кора состоит из серого вещества мозга, она выполняет большинство функций мозга – обработка информации, ее запоминание, формирование ответной реакции. Кроме серого вещества существует еще белое вещество. Оно образуется аксонами нейронов (о них чуть ниже) и отвечает за построение проекционных путей, по которым и поступает информация. Множество исследований посвящено тому, как образуются такие пути, какие функции выполняет тот или иной участок коры и так далее. Нам сейчас важна принципиальная схема потока информации.

Биологический нейрон – клетка, на комбинации которых строится функционирование головного мозга. Для моделирования работы мозга при построении нейронных сетей необходимо было изучить, как же работает нейрон.

В основе работы нейрона лежат химико-физические процессы, благодаря которым нейрон имеет несколько состояний. Например, в состоянии покоя между внутренней и внешней средой нейрона существует определенное напряжение, порядка 75 милливольт. Это происходит из-за ионного обмена.

По всей поверхности нейрона располагаются дендриты – ветвящиеся отростки, к которым примыкают аксонные окончания других нейронов. Место соединения дендритов и аксонов называется синапсом. Именно через синапс осуществляется связь с другими нейронами, в результате такого взаимодействия нейрон может или остаться в состоянии покоя, или отреагировать на поступающий сигнал, а может вовсе сгенерировать свой собственный импульс, называемый, кстати, спайком.

Селективность передачи информации обеспечивается при помощи веществ, называемых нейромедиаторами. В результате взаимодействия синапсы даже могут менять свою чувствительность, это называется синаптической ластичностью и благодаря этой возможности синапс может «настраиваться» на различные сигналы.

Когда на синапс поступает достаточно много сигналов, может быть превышен порог инициации и тогда возникает разряд, который называется спайком. Спайк вызывает деполяризацию мембраны нейрона. При этом продолжительность и амплитуда импульса не зависят от того, какими были причины, вызвавшие его, какой силы и продолжительности было воздействие. После генерации импульса нейрон некоторое время не может генерировать новые импульсы.

---

Это лишь один из возможных вариантов возникновения спайка, называемый вызванным (он и правда вызывается активностью на синапсах). При этом следует учитывать, что есть, например, способы взаимодействия нейронов через каналы, соединяющие их межклеточное пространство, что позволяет передавать разность потенциалов напрямую, это случай электрического синапсиса. Дендриты могут делиться на дистальные и апроксимальные. Существуют внесимпатические механизмы возбуждения нейрона, а также спонтанная активность (хотя, вероятно, ее причины отчасти не раскрыты, ранее многие явления в мозге считались спонтанными, но в процессе исследований их природа была раскрыта), а еще на нейроны оказывают влияние глиальные клетки, которые могут влиять на прохождение сигнала и на генерацию импульсов.

В этом многообразии хочется выделить только те процессы, которые могут помочь при моделировании подобия человеческой нервной системы и мозга как ее части, отбросив все лишнее. Именно по этому пути пошли Маккалок и Питтс, разработав упрощенную модель искусственного нейрона. На вход такого нейрона подавались сигналы. Эти сигналы взвешенно суммировались, а после к сумме применялась некоторая нелинейная функция активации. В итоге искусственный нейрон превращался в пороговый сумматор, который на выходе давал или 0, или 1.

Фактически, искусственный нейрон, построенный по этой схеме, определяет, насколько подаваемый сингал похож на эталонный образ, записанный на его синапсах. Отличие искусственного нейрона от настоящего в этой ситуации – способ реагирования на сигналы на синапсах, т.е. если искусственный нейрон отвечает единичным импульсом, в случае с настоящим нейроном мы будем иметь дело с последовательностью импульсов, при этом частота импульсов будет тем выше, чем точнее узнавание образа.

Таким образом, необходимо доработать модель, предложенную Маккалоком и Питтсом, чтобы реакция сети из искусственных нейронов была близка к работе нейронной сети центральной нервной системы человека. Об этом мы и поговорим в следующей главе.

Глава 3. Понятие искусственного нейрона

Мы уже начали рассмотрение модели искусственного нейрона в предыдущей главе, рассматривая модель Маккалока-Питтса. Как уже говорилось, это очень простая модель, в которой оставлены только те функции биологического нейрона, которые могут быть полезны при составлении искусственной нейронной сети.

---