Файл: книга ии.doc

Исторически первой работой, заложившей теоретический фундамент для создания интеллектуальных устройств, не только функционально, но и структурно моделирующих человеческий мозг, принято считать опубликованную в 1943 г. статью Уоррена Мак-Каллока и Вальтера Питтса. Ее авторы выдвинули гипотезу математического нейрона — устройства, моделирующего нейрон мозга человека. Математический нейрон тоже имеет несколько входов и один выход. Через входы, число которых обозначим J, математический нейрон принимает входные сигналы х_j которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент w_j:

(3.1)

Выходной сигнал нейрона у может принимать одно из двух значений — нуль или единицу, которые формируются следующим образом:

у=1, если Sθ; (3.2)

у= 0, если S<θ, (3.3)

где θ - порог чувствительности нейрона.

Таким образом, математический нейрон, как и его биологический прототип, существует в двух состояниях. Если взвешенная сумма входных сигналов S не достигает некоторой пороговой величины θ, то математический нейрон не возбужден и его выходной сигнал равен нулю. Если же входные сигналы достаточно интенсивны и их сумма достигает порога чувствительности, то нейрон переходит в возбужденное состояние и на его выходе образуется сигнал у=1. Весовые коэффициенты w_j имитируют электропроводность нервных волокон — силу синаптических связей между нейронами. Чем они выше, тем больше вероятность перехода нейрона в возбужденное состояние. Логическая функция (3.2), (3.3), называемая активационной функцией нейрона, графически изображена на рис.3.20. Таким образом, математический нейрон представляет собой пороговый элемент с несколькими входами и одним выходом. Одни из входов математического нейрона оказывают возбуждающее действие, другие — тормозящее. Каждый математический нейрон имеет свое определенное значение порога. На рис.3.21 приведены схематические представления математических нейронов, связанных между собой в нейронную сеть.

Рис.3.20. Пороговая активационная функция нейрона

Математический нейрон обычно изображают кружочком, возбуждающий вход — стрелкой, а тормозящий — маленьким кружочком. Рядом может записываться число, показывающее значение порога θ.

Рис.3.21. Схематическое изображение участка нейронной сети

Как показано на рис.3.22, математические нейроны могут реализовывать различные логические функции. Так, математический нейрон, имеющий два входа с единичными силами синаптических связей w₁ = w₂ = 1, согласно формулам (1)-(3) реализует функцию логического умножения «И» при θ=2 и функцию логического сложения «ИЛИ» при θ=1. Нейрон с одним входом, у которого w=-1, реализует логическую функцию «НЕТ» при θ= 0.

Рис. 3.22. Математические нейроны, реализующие логические функции

3.14.1.2. Персептрон Розенблатта и правило Хебба.

У.Мак-Каллок и В.Питтс предложили конструкцию сети из математических нейронов и показали, что такая сеть в принципе может выполнять числовые и логические операции. Далее они высказали идею о том, что сеть из математических нейронов в состоянии обучаться, распознавать образы, обобщать, т.е. она обладает свойствами человеческого интеллекта.

Идея Мак-Каллока—Питтса была материализована в 1958 г. Фрэнком Розенблаттом сначала в виде компьютерной программы для ЭВМ IBM-794, а затем, спустя два года, в виде электронного устройства, моделирующего человеческий глаз. Это устройство, имеющее в качестве элементной базы модельные нейроны Мак-Каллока-Питтса и названное персептроном, удалось обучить решению сложнейшей интеллектуальной задачи — распознаванию букв латинского алфавита. Таким образом, удалось проверить основные гипотезы функционирования человеческого мозга и сам механизм его обучаемости.

Разберем принцип действия персептрона на примере решения конкретных задач. Если на фотоэлемент попадает какой-либо фрагмент цифры, то данный фотоэлемент вырабатывает сигнал в виде двоичной единицы, в противном случае — нуль. Согласно формулам (3.1) - (3.3) персептронный нейрон выполняет суммирование входных сигналов x_j, помноженных на синаптические веса w_j, первоначально заданные датчиком случайных чисел. После этого сумма сравнивается с порогом чувствительности 0, также заданным случайным образом. Цель обучения персептрона состоит в том, чтобы выходной сигнал у был равен единице, если на карточке была изображена четная цифра, и нулю, если цифра была нечетной.

Эта цель достигается путем обучения персептрона, заключающемся в корректировке весовых коэффициентов w_j. Можно сформулировать следующий итерационный алгоритм корректировки весовых коэффициентов, обеспечивающий обучение персептрона в нужном направлении.

Шаг 1. Подать входной образ и вычислить выход персептрона у.

Шаг 2,а. Если выход правильный, то перейти на шаг 1.

Шаг 2,б. Если выход неправильный и равен нулю, то увеличить веса активных входов, например добавить все входы к соответствующим им весам: w_j(t+1)=w_j(t)+ x_j.

Шаг 2,в. Если выход неправильный и равен единице, то уменьшить веса активных входов, например вычесть каждый вход из соответствующего ему веса: w_j(t+1)=w_j(t)-x_j.

Шаг 3. Перейти на шаг 1 или завершить процесс обучения.

В приведенном здесь алгоритме шаг 2,б называют первым правилом Хебба, а шаг 2,в — вторым правилом Хебба, в честь ученого, предложившего этот алгоритм в 1949 г. Отметим, что правила Хебба удивительным образом напоминают процесс обучения ребенка методом поощрения - наказания или дрессировки животного методом «кнута и пряника». Как и в случаях с ребенком и животным, алгоритм обучения персептрона за конечное число попыток (итераций, или эпох) может привести к цели — персептрон научится различать четные и нечетные цифры.

Возникает вопрос: «Всегда ли алгоритм обучения персептрона приводит к желаемому результату?». Ответ на этот вопрос дает теорема сходимости персептрона, формулируемая следующим образом.

Если существует множество значений весов, которые обеспечивают конкретное различение образов, то в конечном итоге алгоритм обучения персептрона приводит либо к этому множеству, либо к эквивалентному ему множеству, такому, что данное различение образов будет достигнуто.

Интересно отметить, что по числу выполненных доказательств теорема сходимости персептрона занимает одно из первых мест в мире. Ранее самой доказанной в мире теоремой считалась теорема Пифагора.

3.14.1.3. Дельта-правило и распознавание букв.

Рассмотренный алгоритм обучения персептрона можно представить в более общей форме. Если через d обозначить требуемый выходной сигнал, то на каждой итерации можно рассчитывать разницу между требуемым ответом персептрона d и реальным значением у, вычисляемым на его выходе:

ε=(d-y). (3.4)

Тогда случай ε=0 соответствует шагу 2,а, когда выход правилен; случай ε>0 — шагу 2,б; случай ε< 0 — шагу 2,в.

Идея алгоритма обучения персептрона с помощью правил Хебба сохранится, если итерационный процесс вести по формулам:

w_j(t + l)=w_j(t) + Δw_j; (3.5)

Δw_j = εx_j, (3.6)

где w_j(t) и w_j(t + 1) - соответственно старое и новое значения весовых коэффициентов персептрона; j - номер входного сигнала. Кроме того, можно получить аналогичную итерационную формулу для подстройки порогового значения нейрона θ, если учесть, что его можно интерпретировать как вес дополнительного входа х₀, значение которого равно -1:

θ(t+1)=θ(t)+Δθ, (3.7)

Δθ=-ε. (3.8)

В итерационные формулы можно ввести коэффициент скорости обучения η, с помощью которого можно управлять величиной коррекции весов:

Δw_j = ηεx_j, (3.9)

Δθ=-ηε. (3.10)

Алгоритм обучения персептрона с использованием этих формул известен под названием дельта-правила. Дальнейшее развитие идеи персептрона и алгоритмов обучения связано с усложнением его структуры и развитием функциональных свойств.

На рис.3.23 приведена схема персептрона, предназначенного для распознавания букв русского алфавита. Такой персептрон имеет 33 нейрона, таким образом, каждой букве алфавита соответствует свой нейрон. Полагается, что выход первого нейрона у₁ должен быть равен единице, если персептрону предъявлена буква «А», и нулю для всех остальных букв. Выход второго нейрона у₂ должен быть равен единице, если персептрону предъявлена буква «Б», и нулю во всех остальных случаях. И так далее до буквы «Я».