Файл: Персептроны. Назначение, обобщенная схема, виды персептронов, принципы работы. Достоинства и недостатки персептронных систем.pdf

2. Персептроны ограниченного порядка - каждый частный предикат зависит от ограниченного количества точек из X.

3. Персептроны Гамбы - каждый частный предикат (мини-персептрон) должен являться линейной пороговой функцией.

4. Случайные персептроны –это персептроны ограниченного порядка, в которых частные предикаты являются случайно выбранными булевыми функции. Подробно группой Розенблатта изучалась именно эта модель.

5. Ограниченные персептроны - множество частных предикатов является бесконечным, а множество возможных значений коэффициентов -конечным.

Этот математический аппарат допустил возможность применения анализа только к элементарному персептрону, но было вскрыто множество ограничений для параллельных вычислений. Все виды современных искусственных нейросетей подчинены этим ограничениям.

Такое понятие, как «персептрон» имеет интересную историю. Первоначальный смысл понятия был искажен из-за неразвитой терминологии нейросетей в прошлом, непонимания задач, резкой критики исследований персептронов, и ложного описания прессой. Сравнение разработок Розенблатта и современных образов и статей дает возможность выделения четырех обособленных классов персептронов:

1. Персептрон с одним скрытым слоем – является классическим персептроном, наиболее тщательно рассматриваемым в большей части книги Розенблатта. Имеет по одному слою S-, A- и R-элементов.
2. Однослойный персептрон – модель, где при помощи системы весов возможно прямое соединение входных элементов с выходными. Является частным случаем классического персептрона и простейшей сетью прямого распространения — линейным классификатором, в котором каждый S-элемент однозначно соответствует одному A-элементу, S-A связи имеют вес +1 и все A-элементы имеют порог θ = 1. Однослойные персептроны - это фактическиформальными нейронами, то есть пороговыми элементами Мак-Каллока - Питтса. Они имеют множество ограничений, например, они не способны идентифицировать ситуацию, если их входы получили разные сигналы.
3. Многослойный персептрон (по Розенблатту) - персептрон, имеющий дополнительные слои A-элементов.
4. Многослойный персептрон (по Румельхарту) - персептрон, имеющий дополнительные слои A-элементов, но эта сеть обучается при помощи обратного распространения ошибки, и обучаются все слои (в том числе S и A). Является частным случаем многослойного персептронаРозенблатта(рис. 1.5).

Рис. 1.5. Архитектура многослойного персептрона

В настоящее время в литературе более известен однослойный персептрон, именно его подразумевают под термином «персептрон», но имеет место быть часто встречающееся заблуждение, что этот тип моделей был предложен Розенблаттом. В противоположность однослойному воспринимают «многослойный персептрон»,зачастую имея ввиду многослойный персептронРумельхарта, а не Розенблатта. Классический же персептрон относят к многослойным.[9]

Однослойный персептрон

Однослойный персептрон представляет собой простейшую модель нейронной сети. Однослойный персептрон получает на вход сигнал, заданный вектором  и на выходе выдает число

,(1.5)

где

.(1.6)

Входной вектор  состоит из n компонент

, (1.7)

каждая из которых представляет собой численную характеристику анализируемого нейронной сетью объекта.

Через  и  обозначены параметры персептрона — синаптические веса и порог (сдвиг).Синаптические веса указывают силу влияния конкретной характеристики на выходное значение. Их значения могут быть как положительными, так и отрицательными.

Отметим, что переменные  могут быть булевскими, то есть принимать значения 0 или 1. Это означает, что объект обладает данным признаком, если , и не обладает, в случае, если . В этом случае функция

(1.8)

— функция Хевисайда или функция скачка.

Рисунок 1.6. Модель однослойного персептрона

На рис. 1.6 приведена модель однослойного персептрона, цифрами 1-4 помечена последовательность действий при работе алгоритма.

Преимущество персептрона заключается в его простоте. Укажем и его недостаток — персептрон классифицирует только линейно разделимые объекты (то есть только такие множества векторов, между которыми можно провести разделяющую эти множества гиперплоскость).Геометрическая интерпретация

Однослойный персептрон работает как классификатор объектов двух разных множеств. Чтобы понять, как это происходит, рассмотрим случай, когда сигмоидальная функция есть функция скачка . Предположим, требуется классифицировать объекты в два непересекающихся класса объектов A и B. Для этого, определим выходные значения: положим , если объект принадлежит к классу A, , если объект принадлежит к классу B:

, (1.9)

Тогда, из определения функции скачка  следует, что объект лежит в классе A при условии  и объект лежит в классе B, если .

Следовательно, уравнение  может быть рассмотрено как некий разделитель множеств объектов разных классов.

С другой стороны, уравнение  равносильно уравнению

,(1.10)

которое определяет гиперплоскость в n-мерном линейном пространстве.

Напомним, что в двумерном пространстве гиперплоскость — это прямая, а в трехмерном — обычная плоскость.

Следующая иллюстрация (рис. 1.7) демонстрирует вышесказанное на примере игры в квадратики (класс A) и шарики (класс B) в случае n=2, то есть на плоскости. Прямые ,,  — примеры «разделителей» этих классов.

Рисунок 1.7. Геометрическая интерпретация однослойного персептрона

Таким образом, однослойный персептрон есть линейный разделитель.

Многослойный персептрон

Пусть известен реальный выход устройства  при входе , где  — вектор с компонентами , t — номер проводимого опыта,  (максимальное число опытов T заранее определено).

Необходимо найти параметры модели 

(1.11)

, (1.12)

, такие, что выход модели  и реальный выход устройства  были бы как можно ближе. Эта задача всегда разрешима так называемыми многослойными персептронами. Эту модель мы рассматриваем ниже.

Связь между входом и выходом двухслойного персептрона устанавливают следующие соотношения:

,(1.13)

.(1.14)

К явным преимуществам многослойного персептрона следует отнести возможность с его помощью классифицировать любые объекты, разделимые в пространстве признаков. Этот результат был получен лишь в 90-e годы XX века.

К недостаткам относят сложность и медленность настройки, а также плохая способность к обобщению. Чтобы преодолеть эту трудность, применяются эвристические приемы и методы.

Рисунок 1.8. Модель многослойного персептрона с одним скрытым слоем (N=1)

Рисунок 1.8 иллюстрирует архитектуру двухслойного персептрона, где число скрытых слоев N=1. Трехслойный персептрон, очевидно, имеет два скрытых слоя (то есть два ряда «голубых» шариков), и т.д. Необходимо отметить, что в каждом скрытом слое может быть разное число нейронов. [8]

Архитектура многослойного персептрона

Многослойный персептрон способен на абсолютное разделение, то есть может провести любую разделяющую гиперповерхность. Сформулируем это утверждение неформальным образом в следующей теореме:

Фундаментальная теорема

Пусть имеется два произвольных непересекающихся множества в многомерном линейном пространстве. Тогда с помощью многослойного персептрона всегда можно разделить эти два множества, то есть провести гиперповерхность, разделяющую их.

В формальных терминах приведенная теорема об универсальной аппроксимации может быть изложена так:

Фундаментальная теорема о разделимости классов

Для любой непрерывной функции

, (1.15)

определенной на ограниченной замкнутой области, и каждого  существуют коэффициенты

и ,, , (1.16)

такие, что

.(1.17)

Заметим, что выражение

(1.18)

описывает персептрон с одним скрытым слоем. Таким образом, теорема утверждает, что одного скрытого слоя достаточно, чтобы аппроксимировать все (то есть любую непрерывную функцию, определенную на ограниченном множестве).

Основные идеи доказательства.

Доказательство теоремы проводится сначала для одномерного входа (), в этом случае вектор входов представляет собой скаляр: . Это может быть сделано разложением по всплескам  методом Фурье (пункт A). Затем рассматривается случай произвольной размерности вектора входов (пункт B); при этом применяется разложение функции с помощью Фурье по плоским волнам, что сводит задачу к пункту A.

Пункт A. ,. Дляскалярного имеем

(1.19)

|f(x) - Σ_m=1,…Ma_m σ (w_mx - h_m)|<ε (1.20)

Мы приближаем производную

(1.21)

|f’(x) - Σm=1,…Mamσ’ (bm (x - hm ))|<ε (1.22)

Введем всплеск 

(1.23)

тогда последнее неравенство, как следует из теории вейвлетов (она будет изложена ниже), может быть записано как

(1.24)

f’(x) - Σm=1,… к сmψ (bm (x - hm ))|<ε

Пункт B.

, , . (1.25)

Из теории рядов Фурье следует, что любую функцию многих переменных

(1.26)

можно представить в виде суммы функций одного переменного, то есть

,(1.27)

Где

. (1.28)

Заметим, что увеличение числа нейронов может подавить шум с сохранением той же точности аппроксимации:

. (1.29)