ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 23.11.2023
Просмотров: 129
Скачиваний: 5
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
НЕЙРОННЫЕ СЕТИВведение в нейронные сети Теория искусственных нейронных сетей (НС) зародилась еще в 1940-х гг., и к 1960-м гг. Уже были разработаны однослойные НС (перцептроны), которые в ряде случаев оказались способны обучаться, осуществлять предсказания и распознавать образы. Однако нейронные сети имеют некоторые недостатки:
Искусственная модель нейрона Самый важный элемент нейросистемы — это адаптивный сумматор. Он вычисляет скалярное произведение вектора входного сигнала x на вектор параметров. Адаптивным мы называем его из-за наличия вектора настраиваемых параметров (рис. 2) . Рис. 2 - Аптивный сумматорИскусственная модель нейрона Следующий по важности элемент нейросистемы — нелинейный преобразователь сигнала (рис. 3). Он получает скалярный входной сигнал x и преобразует его в значение функции φ(x).Рис. 3 - Нелинейный преобразователь сигналаИскусственная модель нейрона Точка ветвления (рис. 4) служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.Рис. 4 - Точка ветвленияИскусственная модель нейрона Линейная связь (синапс; рис. 5) обычно отдельно от сумматора не встречается, но для некоторых рассуждений бывает удобно выделить ее как отдельный элемент. Он умножает входной сигнал x на «вес синапса». РИС. 5 - СИНАПСИскусственная модель нейрона стандартный формальный нейрон (рис. 6) составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.РИС. 6 - СТАНДАРТНЫЙ ФОРМАЛЬНЫЙ НЕЙРОНИскусственная модель нейрона Чтобы отразить суть биологических нейронных систем, определение искусственного нейрона можно дать следующим образом:
Ключевой вопрос здесь — обратная связь. Простейшая сеть имеет структуру с прямой передачей сигнала: сигналы проходят от входов через скрытые элементы и рано или поздно поступают на выход. Рис. 7 - Пример нейронной сети с прямой передачей сигналаПрименение нейронных сетей На практике нейросети используются как программные продукты, выполняемые на обычных компьютерах, либо как специализированные аппаратно-программные комплексы. В настоящее время нейросети находят широкое применение в различных областях, таких как экономика (предсказание показателей биржевого рынка, предсказание финансовых временных рядов), робототехника (распознавание оптических и звуковых сигналов, самообучение), визуализация многомерных данных, ассоциативный поиск текстовой информации и др. ОСНОВНЫЕ ЗАДАЧИ, РЕШАЕМЫЕ НЕЙРОННЫМИ СЕТЯМИ 1. РАСПРЕДЕЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ. РАСПРЕДЕЛЕННАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО ВЕСА СВЯЗЕЙ НЕЙРОНОВ ИМЕЮТ СТАТУС ИНФОРМАЦИИ БЕЗ СПЕЦИФИЧЕСКОЙ АССОЦИАЦИИ ЧАСТИ ИН- ФОРМАЦИИ С ОТДЕЛЬНЫМ НЕЙРОНОМ. АССОЦИАТИВНАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО НЕЙРОННАЯ СЕТЬ СПОСОБНА ВЫДАТЬ НА ВЫХОД ПОЛНЫЙ ОБРАЗ ПО ПРЕДЪЯВЛЕННОЙ НА ВХОДЕ ЕГО ЧАСТИ. 2. РАСПОЗНАВАНИЕ ОБРАЗОВ. ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ ТРЕБУЮТ СПОСОБНОСТИ ОДНОВРЕМЕННО ОБРАБАТЫВАТЬ БОЛЬШОЕ КОЛИЧЕСТВО ВХОДНОЙ ИНФОРМАЦИИ И ВЫДАВАТЬ КАТЕГОРИЧЕСКИЙ ИЛИ ОБОБЩЕННЫЙ ОТВЕТ. ДЛЯ ЭТОГО НЕЙРОННАЯ СЕТЬ ДОЛЖНА ОБЛАДАТЬ ВНУТРЕННИМ ПАРАЛЛЕЛИЗМОМ. 3. АДАПТИВНОЕ УПРАВЛЕНИЕ.4. ПРОГНОЗИРОВАНИЕ.5. ЭКСПЕРТНЫЕ СИСТЕМЫ.6. ОПТИМИЗАЦИЯ (Т.Е. ПОИСК МАКСИМУМА ФУНКЦИОНАЛА ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ НА ЕГО ПАРАМЕТРЫ).Обучение нейросетиСпособность к обучению является фундаментальным свойством мозга. В контексте нейросетей процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения некоторой специальной задачи. Обычно нейронная сеть должна настроить свои веса связей по имеющейся обучающей выборке, причем функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство нейросетей обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по жестко определенному набору правил функционирования, сформулированных экспертами.
Обучение нейросети Процесс обучения нейросети конструируется по модели внешней среды. Эта модель определяет парадигму обучения. Необходимо также понять, как именно следует модифицировать весовые параметры сети, т.е. какие правила обучения управляют процессом настройки. Алгоритм обучения обозначает процедуру, в которой используются правила обучения для настройки весов. Существуют три парадигмы обучения нейросетей: «с учителем», «без учителя» (самообучение) и смешанная. Обучение нейросети«Обучение с учителем» нейронная сеть располагает правильными ответами (требуемыми выходами сети) для каждого входного примера, а веса настраиваются так, чтобы сеть производила ответы, как можно более близкие к известным правильным ответам. Усиленный же вариант обучения «с учителем» предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение нейросети Обучение нейросети основные типы правил обучения Правило коррекции по ошибке При обучении «с учителем» для каждого входного примера задан желаемый выход d, однако реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании разностного сигнала (d – y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Такое обучение производится только в случае, когда нейросеть ошибается. основные типы правил обученияОБУЧЕНИЕ БОЛЬЦМАНА ПРЕДСТАВЛЯЕТ СОБОЙ СТОХАСТИЧЕСКОЕ ПРАВИЛО ОБУЧЕНИЯ, КОТОРОЕ СЛЕДУЕТ ИЗ ПРИНЦИПОВ ТЕОРИИ ИНФОРМАЦИИ И ТЕРМОДИНАМИЧЕСКИХ ПРИНЦИПОВ. цЕЛЬЮ ОБУЧЕНИЯ ОЛЬЦМАНА ЯВЛЯЕТСЯ ТАКАЯ НАСТРОЙКА ВЕСОВЫХ КОЭФФИЦИЕНТОВ, ПРИ КОТОРОЙ СОСТОЯНИЯ НЕЙРОНОВ ВНЕШНЕГО СЛОЯ УДОВЛЕТВОРЯЮТ ЖЕЛАЕМОМУ РАСПРЕДЕЛЕНИЮ ВЕРОЯТНОСТЕЙ. ОБУЧЕНИЕ ОЛЬЦМАНА МОЖНО РАССМАТРИВАТЬ КАК СПЕЦИАЛЬНЫЙ СЛУЧАЙ КОРРЕКЦИИ ПО ОШИБКЕ, В КОТОРОМ ПОД ОШИБКОЙ ПОНИМАЕТСЯ РАСХОЖДЕНИЕ КОРРЕЛЯЦИЙ СОСТОЯНИЙ В ДВУХ РЕЖИМАХ. основные типы правил обучения Правило Хебба Наиболее старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностьюэ того правила является то, что изменение синаптического веса здесь зависит только от активности нейронов, которые связаны данным синапсом.
основные типы правил обученияОбучение методом соревнования В отличие от обучения Хебба, в котором множество выходных нейронов может возбуждаться одновременно, при таком обучении выходные нейроны соревнуются между собой за активизацию. При обучении методом соревнования модифицируются только веса «победившего» нейрона. Эффект от этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей «победившего» нейрона), при котором он становится чуть ближе ко входному примеру.
- Они связаны с недостатками механизмов обучения нейронных сетей. Большинство механизмов обучения имеют свои слабые места, которые могут привести к неправильной настройке системы.
- нейронные сети не могут объяснять свои действия (процесс получения того или иного решения).
Искусственная модель нейрона Самый важный элемент нейросистемы — это адаптивный сумматор. Он вычисляет скалярное произведение вектора входного сигнала x на вектор параметров. Адаптивным мы называем его из-за наличия вектора настраиваемых параметров (рис. 2) . Рис. 2 - Аптивный сумматорИскусственная модель нейрона Следующий по важности элемент нейросистемы — нелинейный преобразователь сигнала (рис. 3). Он получает скалярный входной сигнал x и преобразует его в значение функции φ(x).Рис. 3 - Нелинейный преобразователь сигналаИскусственная модель нейрона Точка ветвления (рис. 4) служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.Рис. 4 - Точка ветвленияИскусственная модель нейрона Линейная связь (синапс; рис. 5) обычно отдельно от сумматора не встречается, но для некоторых рассуждений бывает удобно выделить ее как отдельный элемент. Он умножает входной сигнал x на «вес синапса». РИС. 5 - СИНАПСИскусственная модель нейрона стандартный формальный нейрон (рис. 6) составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.РИС. 6 - СТАНДАРТНЫЙ ФОРМАЛЬНЫЙ НЕЙРОНИскусственная модель нейрона Чтобы отразить суть биологических нейронных систем, определение искусственного нейрона можно дать следующим образом:
- он получает входные сигналы (исходные данные либо выходные сигналы от других нейронов нейронной сети) через несколько входных каналов;
- каждый входной сигнал проходит через соединение, имеющее определенную интенсивность (вес), соответствующую синаптической активности биологического нейрона;
- с каждым нейроном связано определенное пороговое значение: вычисляется взвешенная сумма значений сигналов на входах, из нее вычитается пороговое значение и тем самым вычисляется величина активации нейрона (она также называется постсинаптическим потенциалом нейрона — PSP);
- сигнал активации преобразуется с помощью функции активации (или передаточной функции) в выходной сигнал нейрона.
Ключевой вопрос здесь — обратная связь. Простейшая сеть имеет структуру с прямой передачей сигнала: сигналы проходят от входов через скрытые элементы и рано или поздно поступают на выход. Рис. 7 - Пример нейронной сети с прямой передачей сигналаПрименение нейронных сетей На практике нейросети используются как программные продукты, выполняемые на обычных компьютерах, либо как специализированные аппаратно-программные комплексы. В настоящее время нейросети находят широкое применение в различных областях, таких как экономика (предсказание показателей биржевого рынка, предсказание финансовых временных рядов), робототехника (распознавание оптических и звуковых сигналов, самообучение), визуализация многомерных данных, ассоциативный поиск текстовой информации и др. ОСНОВНЫЕ ЗАДАЧИ, РЕШАЕМЫЕ НЕЙРОННЫМИ СЕТЯМИ 1. РАСПРЕДЕЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ. РАСПРЕДЕЛЕННАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО ВЕСА СВЯЗЕЙ НЕЙРОНОВ ИМЕЮТ СТАТУС ИНФОРМАЦИИ БЕЗ СПЕЦИФИЧЕСКОЙ АССОЦИАЦИИ ЧАСТИ ИН- ФОРМАЦИИ С ОТДЕЛЬНЫМ НЕЙРОНОМ. АССОЦИАТИВНАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО НЕЙРОННАЯ СЕТЬ СПОСОБНА ВЫДАТЬ НА ВЫХОД ПОЛНЫЙ ОБРАЗ ПО ПРЕДЪЯВЛЕННОЙ НА ВХОДЕ ЕГО ЧАСТИ. 2. РАСПОЗНАВАНИЕ ОБРАЗОВ. ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ ТРЕБУЮТ СПОСОБНОСТИ ОДНОВРЕМЕННО ОБРАБАТЫВАТЬ БОЛЬШОЕ КОЛИЧЕСТВО ВХОДНОЙ ИНФОРМАЦИИ И ВЫДАВАТЬ КАТЕГОРИЧЕСКИЙ ИЛИ ОБОБЩЕННЫЙ ОТВЕТ. ДЛЯ ЭТОГО НЕЙРОННАЯ СЕТЬ ДОЛЖНА ОБЛАДАТЬ ВНУТРЕННИМ ПАРАЛЛЕЛИЗМОМ. 3. АДАПТИВНОЕ УПРАВЛЕНИЕ.4. ПРОГНОЗИРОВАНИЕ.5. ЭКСПЕРТНЫЕ СИСТЕМЫ.6. ОПТИМИЗАЦИЯ (Т.Е. ПОИСК МАКСИМУМА ФУНКЦИОНАЛА ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ НА ЕГО ПАРАМЕТРЫ).Обучение нейросетиСпособность к обучению является фундаментальным свойством мозга. В контексте нейросетей процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения некоторой специальной задачи. Обычно нейронная сеть должна настроить свои веса связей по имеющейся обучающей выборке, причем функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство нейросетей обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по жестко определенному набору правил функционирования, сформулированных экспертами.
Обучение нейросети Процесс обучения нейросети конструируется по модели внешней среды. Эта модель определяет парадигму обучения. Необходимо также понять, как именно следует модифицировать весовые параметры сети, т.е. какие правила обучения управляют процессом настройки. Алгоритм обучения обозначает процедуру, в которой используются правила обучения для настройки весов. Существуют три парадигмы обучения нейросетей: «с учителем», «без учителя» (самообучение) и смешанная. Обучение нейросети«Обучение с учителем» нейронная сеть располагает правильными ответами (требуемыми выходами сети) для каждого входного примера, а веса настраиваются так, чтобы сеть производила ответы, как можно более близкие к известным правильным ответам. Усиленный же вариант обучения «с учителем» предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение нейросети Обучение нейросети основные типы правил обучения Правило коррекции по ошибке При обучении «с учителем» для каждого входного примера задан желаемый выход d, однако реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании разностного сигнала (d – y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Такое обучение производится только в случае, когда нейросеть ошибается. основные типы правил обученияОБУЧЕНИЕ БОЛЬЦМАНА ПРЕДСТАВЛЯЕТ СОБОЙ СТОХАСТИЧЕСКОЕ ПРАВИЛО ОБУЧЕНИЯ, КОТОРОЕ СЛЕДУЕТ ИЗ ПРИНЦИПОВ ТЕОРИИ ИНФОРМАЦИИ И ТЕРМОДИНАМИЧЕСКИХ ПРИНЦИПОВ. цЕЛЬЮ ОБУЧЕНИЯ ОЛЬЦМАНА ЯВЛЯЕТСЯ ТАКАЯ НАСТРОЙКА ВЕСОВЫХ КОЭФФИЦИЕНТОВ, ПРИ КОТОРОЙ СОСТОЯНИЯ НЕЙРОНОВ ВНЕШНЕГО СЛОЯ УДОВЛЕТВОРЯЮТ ЖЕЛАЕМОМУ РАСПРЕДЕЛЕНИЮ ВЕРОЯТНОСТЕЙ. ОБУЧЕНИЕ ОЛЬЦМАНА МОЖНО РАССМАТРИВАТЬ КАК СПЕЦИАЛЬНЫЙ СЛУЧАЙ КОРРЕКЦИИ ПО ОШИБКЕ, В КОТОРОМ ПОД ОШИБКОЙ ПОНИМАЕТСЯ РАСХОЖДЕНИЕ КОРРЕЛЯЦИЙ СОСТОЯНИЙ В ДВУХ РЕЖИМАХ. основные типы правил обучения Правило Хебба Наиболее старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностьюэ того правила является то, что изменение синаптического веса здесь зависит только от активности нейронов, которые связаны данным синапсом.
основные типы правил обученияОбучение методом соревнования В отличие от обучения Хебба, в котором множество выходных нейронов может возбуждаться одновременно, при таком обучении выходные нейроны соревнуются между собой за активизацию. При обучении методом соревнования модифицируются только веса «победившего» нейрона. Эффект от этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей «победившего» нейрона), при котором он становится чуть ближе ко входному примеру.