Файл: книга ии.doc

Шаг 1. Датчиком случайных чисел всем весовым коэффициентам w_ij и пороговым значениям нейронов θ_i (i= 1,...,33, j=1,...,12) присваиваются некоторые малые значения.

Шаг 2. Персептрону предъявляется какая-либо буква алфавита, и системой фотоэлементов вырабатывается входной вектор х_j (j= 1,...,12).

Шаг 3. Каждый нейрон выполняет взвешенное суммирование входных сигналов:

и вырабатывает выходной сигнал y_i= 1, если S_i >θ_i; y_i= 0, если S_i<θ_i.

Шаг 4. Для каждого нейрона вычисляется ошибка: ε_i= (d_i-y_i),

где d_i - вектор правильных ответов персептрона (например, для буквы «A» d₁ =1, d₂ = 0, ..., d₃₃ =0 и т.д.).

Шаг 5. Производится корректировка весовых коэффициентов персептрона и пороговых значений нейронов:

w_ij(t+1) = w_ij(t) + Δw_ij; Δw_ij = ηε_ix_j;

θ_i(t+1) = θ_i(t) + Δθ_i; Δθ_i=-ηε_i,

где t - номер итерации, или эпохи.

Шаг 6. Повторение шагов 2 - 5 необходимое число раз.

3.14.1.4. Адалайн, мадалайн и обобщенное дельта-правило.

Рассмотренный персептрон можно использовать и для решения других практических задач выполнять прогноз погоды или ставить диагнозы болезней. Круг решаемых задач значительно расширится, если научить персептрон выдавать не только бинарные выходные сигналы типа ноль и единица, но и аналоговые, т.е. имеющие непрерывные значения. Такое обобщение персептрона было сделано Уидроу и Хоффом, которые вместо ступенчатой ввели непрерывную нелинейную функцию активации:

График функции изображен на рис.3.24. Эту функцию назвали сигмоидой из-за того, что ее графическое изображение напоминает латинскую букву «S». Другое название сигмоиды — логистическая функция.

Рис. 3.24. Сигмоидная активационная функция у =f_σ(S).

Подобно обычной пороговой функции активации, сигмоида отображает точки области определения (-, +) на интервал (0, +1). Практически сигмоида обеспечивает непрерывную аппроксимацию классической пороговой функции. Для сигмоиды принято обозначение у =f_σ(S).

Персептроны с сигмоидными активационными функциями с одним выходом назвали адалайн, с несколькими выходами — мадалайн (от английских слов ADAptive Linear NEuron и Many ADALINE).

Появление персептронов с непрерывными активационными функциями обусловило и новые подходы к их обучению. Уидроу и Хофф предложили минимизировать среднеквадратичную ошибку, определяемую как разность между требуемыми d_i и реальными y_i выходными сигналами персептрона:

Рассмотрим алгоритм коррекции весовых коэффициентов персептрона, имеющего J входов и I выходов (рис.3.25).

Рис. 3.25. Однослойный персептрон с J входами и I выходами

Среднеквадратичная ошибка ε является многомерной функцией весовых коэффициентов, т.е. ε= ε(w_i_j), и в пространстве координат w_i_j представляется в виде некоторой многомерной поверхности — гиперповерхности. Если оставить только две оси координат, например w₁₁ и w₁₂, то эта поверхность будет иметь вид фигуры, напоминающей параболоид, который, однако, может иметь как один, так и несколько минимумов. Поэтому такую поверхность будем называть псевдопараболоидом. Обучение персептрона можно представить как задачу отыскания такого сочетания весовых коэффициентов w_i_j, которому соответствует самая нижняя точка гиперпсевдопараболоида. Такую задачу называют оптимизационной и говорят, что она состоит в минимизации функционала ε= ε(w_i_j) в пространстве параметров w_i_j.

Существует множество методов решения оптимизационных задач. Наиболее простым является случайный перебор весовых коэффициентов w_ij с последующими вычислениями и сравнениями между собой соответствующих этим коэффициентам функций ошибок ε. Однако более эффективным является метод градиентного спуска, согласно которому изменение (коррекция) каждого весового коэффициента Δw_ij производится в сторону, противоположную градиенту поверхности гиперпсевдопараболоида, т.е.

где η - коэффициент скорости обучения.

Среднеквадратичная ошибка ε является сложной функцией, зависящей, в первую очередь, от выходных сигналов персептрона y_i поэтому в результате вычислений получим: ,

где y_i=f_σ(S_i), S_i=.

Итерационная формула для обучения однослойного персептрона:

в которой

Этот алгоритм называют обобщенным дельта-правилом, преимущество которого состоит в более быстрой сходимости и возможности более точной обработки входных и выходных непрерывных сигналов, т.е. в расширении круга решаемых персептронами задач и возможности получения более точных и качественных решений.

Ограниченность однослойного персептрона.

Персептроны применялись для решения задач диагностики, таких как анализ электрокардиограмм и заключение врача о диагнозе болезни пациента. По мере расширения фронта научных исследований появились трудности. Неожиданно оказалось, что многие новые задачи персептрон решить не мог, причем эти задачи внешне ничем не отличались от тех, с которыми персептрон успешно справлялся ранее. Возникла необходимость объяснения возникших парадоксов, глубокого анализа и создания теоретической базы персептронов.

М. Минский и С. Пайперт математически строго доказали, что использовавшиеся в то время однослойные персептроны в принципе не способны решать многие простые задачи. Одну из таких задач, заключающуюся в реализации логической операции «Исключающее ИЛИ».

«Исключающее ИЛИ» — это булева функция двух аргументов, каждый из которых может иметь значение «истинно» либо «ложно». Сама она принимает значение «истинно», когда только один из аргументов имеет значение «истинно». Во всех остальных случаях функция принимает значение «ложно»:

Задача состоит в том, чтобы реализовать функцию y с помощью однонейронного персептрона с двумя входами х1 и х2 и одним выходом у. При этом на выходе будет 1, если хотя на одном входе будет 0.

Было установлено, что какие бы значения ни придавались весам и порогу, персептрон в принципе не способен воспроизвести соотношение между входами и выходом, требуемое для представления функции «Исключающее ИЛИ». Такие задачи получили название линейно неразделимых.

§ 3.14.2. Многослойный персептрон и алгоритм обратного

распространения ошибки.

Строгие математические доказательства М. Минского и С. Пайперта были неуязвимы. Всеобщий энтузиазм сменился не менее всеобщим пессимизмом. Правительство США прекратило финансирование нейропроектов, и персептроны были преданы забвению, длившемуся более 20 лет.

Тем не менее, работы в области нейросетевых и нейрокомпьютерных технологий продолжались отдельными наиболее настойчивыми исследователями. Многие понимали, что надо усложнять структуру персептронов, т. е. продолжать приближать компьютерную модель к оригиналу — человеческому мозгу. Оказалось, что проблему «Исключающее ИЛИ» можно решить с помощью двухслойного персептрона, изображенного на рис.3.26.

Рис.3.26. Двухслойный персептрон, реализующий функцию

«Исключающее ИЛИ»

Работа этого персептрона происходит по следующему алгоритму.

Нейрон № 1: S₁=0,5х₁ + (-0,5)х₂; y₁= 1, если S₁θ; y₁= 0, если S₁<θ.

Нейрон № 2: S₂=(-0,5)x₁ +0,5x₂; у₂ = 1, если S₂θ; у₂ = 0, если S₂ <θ.

Нейрон № 3: S₃=lx_l+lx₂; y₃ = 1, если S₃ θ; y₃= 0, если S₃ <θ.

С помощью этих формул легко проверить таблицу истинности персептрона, составленную при задании порога θ= 0,5 (табл.3.9).

Таблица 3.9

Таблица истинности двухслойного персептрона (см. рис.3.26)