Добавлен: 27.05.2023
Просмотров: 438
Скачиваний: 4
Чтобы выразить суть биологических нейронных систем, об искусственных нейронах говорят, что они получают входные сигналы, исходные данные либо выходные сигналы других нейронов нейронной сети через несколько входных каналов.
Каждый входной сигнал проходит через соединение, имеющее определенную интенсивность или вес. Эти веса соответствуют синаптическим активностям биологических нейронов.
С каждым нейроном связано некоторое пороговое значение. Для нейрона вычисляется взвешенная сумма входов, а из нее вычитается пороговое значение, в результате чего получается значение активации нейрона, которое также называют пост-синаптическим потенциалом нейрона, сокр. PSP.[6]
Сигнал активации преобразуется при помощи функции активации, называемой передаточной функцией, в результате чего получается выходной сигнал нейрона.
Если при этом используется ступенчатая функция активации т.е., выход нейрона равен нулю при отрицательном входе и единице при нулевом или положительном входе, то такие нейроны будут работать точно так же, как описанные выше естественные нейроны, вычитается пороговое значение из взвешенной суммы и сравнивается результат с нулем, то же самое, что сравнение взвешенной суммы с пороговым значением.
В действительности пороговые функции редко используются в искусственных нейронных сетях. Получаемые веса могут быть и отрицательными, из чего следует, что синапс оказывает на нейрон тормозящее, а не возбуждающее воздействие, в мозге присутствуют тормозящие нейроны.
Ранее было представлено описание отдельных нейронов.
Сети, состоящие из нейронов имеют входы, принимающие значения переменных из внешнего мира и выходы, выдающие прогнозы или управляющие сигналы.[8]
Выходы и входы и соответствуют двигательным и сенсорным нервам, например, идущим соответственно от глаз в руки.
Кроме этого, в нейронной сети может быть еще много скрытых, промежуточных нейронов, которые выполняют внутренние функции. Скрытые, выходные и входные нейроны имеют между собой связи.
Простейшая нейронная сеть имеет структуру с прямой передачей сигналов: сигналы идут от входов по скрытым элементам и в конце концов поступают на выходные элементы.
Такой структурой обеспечивается устойчивое поведение.
Если сеть рекуррентная, т.е. имеются связи, ведущие от более дальних к более ближним нейронам, то она может быть неустойчивой и иметь достаточно сложную динамику поведения.
Исследователи нейронных сетей проявляют большой интерес к рекуррентным сетям, но при решении практических задач, до сих пор, наиболее полезными оказывались структуры прямой передачи.
Типичный пример сети с прямой передачей сигнала показан на рисунке 1.1.[7]
Нейроны регулярным образом организованы в слои.
Входной слой просто служит для ввода значений входных переменных. Каждый из выходных и скрытых нейронов соединен со всеми элементами предыдущего слоя.
Существуют нейронные сети, в которых нейроны связаны только с некоторыми из нейронов предыдущих слоев, но, для большинства приложений более предпочтительными являются сети с полной системой связей.
Рисунок 1.1 - пример сети с прямой передачей сигнала
При работе сети во входные элементы поступают значения входных переменных, затем последовательно происходит отработка нейронов промежуточных слоев и выходного слоя.
На каждом из них вычисляется свое значение активации, берется взвешенная сумма выходов элементов предыдущего слоя и из нее вычитается пороговое значение. [7]
После этого значение активации преобразуется при помощи функции активации, в результате чего получается выход нейрона.
После того, как вся сеть отработала, выходные значения от элементов выходного слоя поступают на выход всей сети.
1.3 Понятие искусственного нейрона
Искусственный нейрон изображен на рисунке 2. Другие названия - математический нейрон Питтса — Маккалока, формальный нейрон — узел нейронной искусственной сети, который является упрощенной моделью естественного нейрона.
S
.
.
.
X1
X2
X3
Xn
W1
W2
W3
Wn
Y
Входы
Синапсы
Аксон
Выход
Рисунок 1.2 – искусственный нейрон
С математической точки зрения искусственный нейрон является сумматором всех входящих сигналов. Он применяет общем случае, некоторую простую, нелинейную функцию, непрерывную по всей области определения, к полученной взвешенной сумме.[5]
Обычно, данная функция является монотонно возрастающей. Полученные результаты посылаются на единственный выход.
Искусственные нейроны объединяются между собой определенным, заранее установленным образом, при этом образуется искусственная нейронная сеть.
Связующие каналы, по которым выходные сигналы от одних нейронов поступают на входы других, по аналогии со связями между биологическими нейронами называются синапсами.
Все нейроны характеризуются своими текущими состояниями, аналогично нервным клеткам головного мозга, которые могут возбуждаться или затормаживаться.
Искусственные нейроны обладают группами синапсов, представляющих собой однонаправленные входные связи, соединенные с выходами других нейронов, а также имеют аксоны, представляющие выходные связи данных нейронов, с которых сигналы поступают на синапсы следующих нейронов.
Каждая связь искусственного нейрона характеризуется своим весом.
Связи имеющие положительный вес называют возбуждающими, а отрицательный — тормозящими[5].
Выход искусственного нейрона по аналогии с биологическим прототипом называется аксоном.
С единственного выхода искусственного нейрона сигналы могут поступать на произвольное число входов других нейронов.
Каждый синапс характеризует величина синаптических связей или ее вес, который может рассматриваться как эквивалент электрической проводимости биологических нейронов.
Математически, искусственные нейроны обычно представляются в виде некоторых нелинейных функций от единственного аргумента, являющегося линейной комбинации всех входных сигналов.
Данная функция называется функцией срабатывания, функцией активации или передаточной функцией[6].
Полученные результаты посылаются на единственные выходы. Искусственные нейроны объединяются в сети, при этом соединяются выходы одних нейронов с входами других.
Искусственные нейроны и искусственные нейронные сети являются основными элементами идеальных нейрокомпьютеров.
Математическую модель искусственного нейрона впервые предложили У. Маккалок и У. Питтс, вместе с моделью сети, составленной из этих нейронов. Авторами было показано, что сети из таких элементов могут выполнять логические и числовые операции[9].
Практическую сеть на искусственных нейронах впервые в 1958 году реализовал Фрэнк Розенблатт, в виде компьютерной программы, а вдальнейшем как электронное устройство, называемое перцептрон.
Первые нейроны могли оперировать только с сигналами с логическими нулями и логическими единицами[8], поскольку были построены на основе биологических прототипов, которые могли пребывать только в двух состояниях — невозбужденном и возбужденном.
Развитие искусственных нейронных сетей показало, что для расширения сферы их использования требуется, чтобы искусственные нейроны могли работать не только с двоичными, но и с непрерывными и с аналоговыми сигналами.
Такие обобщения моделей искусственных нейронов были сделаны Хоффом и Уидроу[10], которыми было предложено в качестве функций срабатывания нейронов использовать логистические кривые.
1.4 Виды искусственных нейронных сетей
Искусственные нейронные сети – это наборы нейронов, соединенных между собой. Обычно, активационные и передаточные функции всех нейронов в сети фиксированы, а веса могут изменяться и являются параметрами сети. Некоторые входы нейронов помечаются как внешние входы сетей, а некоторые выходы – как внешние выходы сетей.
Подавая любые данные на входы сетей, получаются какие-либо наборы данных на выходах сетей. Работа нейронных сетей заключается в преобразовании входных векторов данных X в выходные вектора данных Y, причем эти преобразования задаются весам сети.
В зависимости от признаков существуют различные классификации нейронных сетей. Можно выделить три основных типа нейронных сетей при классификации по топологиям,:
полносвязные сети ( рис. 1.3, а);
многослойные или слоистые сети (рис 1.3, б)
слабосвязные сети (рис. 1.3, в)
а
ба
ва
Рисунок 1.3 - Архитектуры нейронных сетей:
а – полносвязная сеть,
б – многослойная сеть с последовательными связями,
в – слабосвязные сети
Полносвязные сети представляют собой искусственные нейронные сети, сокр. ИНС, каждый нейрон такой сети передает свои выходные сигналы остальным нейронам, в том числе и самому себе (рис. 1.3, а).[9]
Все входные сигналы передаются всем нейронам. Выходными сигналами сети могут быть некоторые или все выходные сигналы нейронов после нескольких тактов функционирования сети.
В многослойных и многосвязных сетях нейроны объединены в слои. Слои содержат совокупности нейронов с едиными входными сигналами. Число нейронов во всех слоях может различаться и заранее никак не связано с количеством нейронов в других слоях.
На рисунке 1.4 изображена классификация нейронных сетей.
Классификация нейронных сетей
Характер обучения
Настройка весов
С учителем
Без учителя
Фиксированная
Динамическая
Тип входной информации
Применяемая модель сети
Аналоговая
Двоичная
Прямого распространения
Рекуррентные
Радиально-базисные
Самоорганизующиеся
Рисунок 1.4 – классификация нейронных сетей[9]
По характеру обучения классификация нейронных сетей выделяет среди них:
- использующие обучение с учителем нейронные сети;
- использующие обучение без учителя нейронные сети.
Использующие обучение с учителем нейронные сети.
Обучением с учителем предполагается, что для каждого входного вектора задается целевой вектор, который представляет собой требуемый выход. Вместе их называют обучающей парой. Обычные сети обучаются на некотором числе обучающих пар. Предъявляются выходные вектора, вычисляются выходы сети и сравниваются с соответствующими целевыми векторами.[9]
Далее веса меняются в соответствии с алгоритмами, стремящимися к минимизации ошибок. Векторы обучающих множеств последовательно предъявляются, вычисляются ошибки и веса подстраиваются для всех векторов до тех пор, пока ошибки по всем обучающим массивам не достигнут приемлемых уровней.
Использующие обучение без учителя нейронные сети.
Обучение без учителя представляет гораздо более правдоподобные модели обучения с точки зрения биологических корней искусственных нейронных сетей.
Развитые многими другими и в том числе Кохоненом, такие сети не нуждаются в целевых векторах для выходов и, следовательно, не требуют сравнения с предопределенными идеальными ответами.
Обучающие множества состоят только из входных векторов. Обучающие алгоритмы подстраивают веса сетей так, чтобы получились выходные согласованные векторы, т. е. чтобы предъявление достаточно близких входных векторов выдавало одинаковые выходы. Процессы обучения, выделяют статистические свойства обучающих множеств и группируют в классы сходные векторы.
Классификация по настройке весов:[7]
- сеть с фиксированной связью – весовые коэффициенты нейронных сетей выбираются исходя из условий задачи сразу;
- сеть с динамической связью – для них в процессе обучения выполняется настройка синаптических весов.
По типам входных данных:
- аналоговые – входные данные представлены в форме действительных чисел;
- двоичные – все входные данные в таких сетях представляются в виде нулей и единиц.
По применяемым моделям нейронных сетей.
В сетях прямого распространения все связи направляются строго к выходным нейронам от входных. К таким сетям относят, например: простейшие персептроны, разработанные Розенблаттом и многослойные персептроны.
В реккурентных нейронных сетях сигналы от выходных нейронов или нейронов скрытых слоев частично передаются обратно на входы входного слоя нейронов.
Радиально базисные функции – вид нейронной сети, имеющий скрытый слой из радиальных элементов и выходной слой из линейных элементов. Сети этого типа довольно компактны и быстро обучаются. Предложены в работах Broomhead and Lowe (1988) и Moody and Darkin (1989).[10]