Файл: Нейронные сети и их экономические задачи.pdf

Рис. 3.  Разделение пространства входных данных двухвходовым персептроном

Эта линия разбивает пространство входных сигналов  на две области: в одной из них (заштрихованной) значения , и, следовательно, функция активации принимает значение 1; в другой — , и .

Таким образом, наглядно видно, что персептрон является простейшим линейным классификатором

3.2.2. СИГМОИДАЛЬНЫЙ НЕЙРОН

Сигмоидальный нейрон устраняет основной недостаток персептрона — разрывность функции активации . Структурная схема нейрона данного типа представлена на рис. 1.

Рис. 1.  Структурная схема сигмоидального нейрона

В качестве функции активации  выступает сигмоидальная функция (т.е. функция, график которой похож на букву "S"). На практике используются как униполярные, так и биполярные функции активации.

Униполярная функция, как правило, представляется формулой :
тогда как биполярная функция задается в виде :

Графики униполярных и биполярных сигмоидальных функций представлены на рис. 2 и рис. 3 соответственно.

Рис. 2.  График униполярной сигмоидальной функции

Рис. 3.  График биполярной сигмоидальной функции

Коэффициент  определяет "крутизну" функций и выбирается разработчиком сети (на практике  для упрощения назначают обычно равным 1).

Производная униполярной функции активации имеет вид :

а производная биполярной функции — 

Графики производных имеют колоколобразный вид и представлены на рис. 4 и рис. 5.

Рис. 4.  График производной униполярной сигмоидальной функции

Рис. 5.  График производной биполярной сигмоидальной функции

Для обучения сигмоидального нейрона используется стратегия "с учителем", однако, в отличие от персептрона, для поиска минимума целевой функции 
здесь используются методы поисковой оптимизации первого порядка, в которых целенаправленное изменение весовых коэффициентов  осуществляется в направлении отрицательного градиента 

-ая компонента вектора градиента имеет вид :

Обозначив ,имеем

Также возможно обучение сигмоидального нейрона и дискретным способом — сериями циклов уточнения входных весов для каждой эталонной пары  (см. правило персептрона). При этом коррекция весов после каждого цикла выполняется по следующей формуле: 

где  — коэффициент обучения, значение которого выбирается из диапазона (0, 1).

Необходимо напомнить, что все методы поисковой оптимизации первого порядка — это методы локального поиска, не гарантирующие достижения глобального экстремума. В качестве попытки преодолеть этот недостаток было предложено обучение с моментом, в котором коррекция весов выполняется следующим образом: 

Последнее слагаемое в формуле называется моментом и характеризует фактическое изменение веса в предыдущем цикле ( выбирается в диапазоне (0, 1)). Существует надежда, что при приближении к точке локального минимума (где градиентная составляющая  стремится к нулю) составляющая момента выведет поиск из области локального минимума в более перспективную область.

3.2.3.ИНСТАРА ГРОССБЕРГА

Структурная схема инстара Гроссберга представлена на рис. 1.

Рис. 1.  Структурная схема инстара Гроссберга

Особенностями инстара, отличающими его от нейронов других типов, являются следующие:

1. функция активации  часто линейна, т.е. ;
2. входной вектор  нормализован так, что его эвклидова норма равна 1;
3. обучение инстара возможно как с учителем, так и без него.

Нормализация элементов вектора  производится по следующей формуле: 

Обучение инстара с учителем производится дискретно по правилу Гроссберга 

где  — коэффициент обучения, значение которого выбирается в диапазоне (0, 1). В качестве начальных обычно выбираются нулевые значения весовых коэффициентов. Необходимо обратить внимание, что на изменение значений весовых коэффициентов оказывают влияние только положительные примеры эталонных пар, для которых .

На процесс обучения инстара решающее влияние оказывает величина коэффициента обучения . При  веса  принимают значения соответствующих входов  текущей эталонной пары за один цикл обучения (при этом происходит абсолютное "забывание" предыдущих значений . При  в результате обучения коэффициенты  принимают некоторые "усредненные" значения обучающих векторов ,  = 1, 2, ..., .

Предположим, что -ый инстар был обучен на единственной положительной эталонной паре . При этом вектор входных весов инстара . В режиме классификации на вход инстара подается вектор , тогда на выходе вырабатывается сигнал 

Поскольку входные векторы  и  нормализованы (т.е. ), то выходной сигнал инстара равен просто косинусу угла между векторами  и .

Функционирование инстара наглядно иллюстрируется графически. В режиме обучения при предъявлении, например, трех положительных примеров, содержащих двухкомпонентные векторы ,  и , подбирается вектор входных весов , представляющий собой "усреднение" этих входных векторов, как это показано на рис. 2.

Рис. 2.  Результат обучения инстара Гроссберга

В режиме классификации при подаче на вход инстара очередного вектора  определяется степень его близости к "типичному" вектору  в виде косинуса угла между этими векторами, как это показано на рис. 3.

Рис. 3.  Классификация входного вектора обученным инстаром Гроссберга

Обучение инстара Гроссберга без учителя предполагает случайный выбор начальных значений входных весов  и их нормализацию, подобную нормализации вектора входных сигналов . Дальнейшее уточнение весов реализуется следующей формулой: 

3.2.4. НЕЙРОНЫ ТИПА WTA (WINNER TAKES ALL — ПОБЕДИТЕЛЬ ПОЛУЧАЕТ ВСЕ)

Данный тип нейронов всегда используется группами, в которых конкурируют между собой. Структурная схема группы (слоя) нейронов типа WTA представлена на рис. 1.

Рис. 1.  Структурная схема слоя нейронов типа WTA

Каждый конкурирующий нейрон в группе получает одни и те же входные сигналы. Каждый нейрон рассчитывает выходной сигнал своего сумматора обычным образом . По результатам сравнения всех ,  выбирается нейрон-победитель, обладающий наибольшим значением . Выходной сигнал  нейрона-победителя получает значение 1, выходные сигналы всех остальных нейронов — 0.

Для обучения нейронов типа WTA не требуется учитель, оно практически полностью аналогично обучению инстара Гроссберга. Начальные значения весовых коэффициентов всех нейронов выбираются случайным образом с последующей нормализацией относительно 1.

При предъявлении каждого обучающего вектора  определяется нейрон-победитель, что дает ему право уточнить свои весовые коэффициенты по упрощенному (в силу бинарности ) правилу Гроссберга 

Все проигравшие нейроны оставляют свои весовые коэффициенты неизменными.

Понятно, что в каждом цикле обучения побеждает тот нейрон, чей текущий вектор входных весов  наиболее близок входному вектору . При этом вектор  корректируется в сторону вектора . Поэтому в ходе обучения каждая группа близких друг другу входных векторов (кластер) обслуживается отдельным нейроном.

Результат обучения слоя нейронов типа WTA на последовательности девяти двухкомпонентных входных векторов  иллюстрирует рис. 2. Здесь были выделены три кластера входных векторов ,  и . За их распознавание отвечают три нейрона с векторами входных весов ,  и  соответственно.