ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 23.11.2023
Просмотров: 20
Скачиваний: 2
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
НЕЙРОННЫЕ СЕТИ
Введение в нейронные сети
Теория искусственных нейронных сетей (НС) зародилась еще в 1940-х гг., и к 1960-м гг. Уже были разработаны однослойные НС (перцептроны), которые в ряде случаев оказались способны обучаться, осуществлять предсказания и распознавать образы. Однако нейронные сети имеют некоторые недостатки:
Нейронные сети возникли из исследований в области искусственного интеллекта, а именно из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга. Основной областью исследований по искусственному интеллекту в 1960–1980-е гг. были экспертные системы, которые базировались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами). Введение в нейронные сети
Мозг человека состоит из очень большого числа (приблизительно 10 000 000 000) нейронов, соединенных многочисленными связями (в среднем — несколько тысяч связей на один нейрон, однако это значение может сильно меняться). Нейрон — это специальная клетка, способная распространять электрохимические сигналы. Нейрон имеет разветвленную структуру вводных каналов информации (дендриты), ядро и разветвляющийся выходной канал (аксон). Аксоны такой клетки соединяются с дендритами других нейронов клеток с помощью синапсов (Рис. 1). Введение в нейронные сети
Рис. 1 - Строение нейрона
Введение в нейронные сети
Будучи активированным, нейрон посылает электрохимический сигнал по своему аксону, и через синапсы этот сигнал достигает других нейронов, которые могут, в свою очередь, активироваться. Нейрон активируется, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации). Интенсивность сигнала, получаемого нейроном (а следовательно, и возможность его активации), сильно зависит от активности синапсов. Каждый синапс представляет собой промежуток (синаптическую щель) между аксоном и дендритом, и специальные химические вещества (медиаторы) передают сигнал через этот промежуток.
Искусственная модель нейрона
Самый важный элемент нейросистемы — это адаптивный сумматор. Он вычисляет скалярное произведение вектора входного сигнала x на вектор параметров. Адаптивным мы называем его из-за наличия вектора настраиваемых параметров (рис. 2) .
Рис. 2 - Аптивный сумматор
Искусственная модель нейрона
Следующий по важности элемент нейросистемы — нелинейный преобразователь сигнала (рис. 3). Он получает скалярный входной сигнал x и преобразует его в значение функции φ(x).
Рис. 3 - Нелинейный преобразователь сигнала
Искусственная модель нейрона
Точка ветвления (рис. 4) служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.
Рис. 4 - Точка ветвления
Искусственная модель нейрона
Линейная связь (синапс; рис. 5) обычно отдельно от сумматора не встречается, но для некоторых рассуждений бывает удобно выделить ее как отдельный элемент. Он умножает входной сигнал x на «вес синапса».
РИС. 5 - СИНАПС
Искусственная модель нейрона
стандартный формальный нейрон (рис. 6) составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.
РИС. 6 - СТАНДАРТНЫЙ ФОРМАЛЬНЫЙ НЕЙРОН
Искусственная модель нейрона
Чтобы отразить суть биологических нейронных систем, определение искусственного нейрона можно дать следующим образом:
Ключевой вопрос здесь — обратная связь. Простейшая сеть имеет структуру с прямой передачей сигнала: сигналы проходят от входов через скрытые элементы и рано или поздно поступают на выход.
Рис. 7 - Пример нейронной сети с прямой передачей сигнала
Применение нейронных сетей
На практике нейросети используются как программные продукты, выполняемые на обычных компьютерах, либо как специализированные аппаратно-программные комплексы.
В настоящее время нейросети находят широкое применение в различных областях, таких как экономика (предсказание показателей биржевого рынка, предсказание финансовых временных рядов), робототехника (распознавание оптических и звуковых сигналов, самообучение), визуализация многомерных данных, ассоциативный поиск текстовой информации и др. ОСНОВНЫЕ ЗАДАЧИ, РЕШАЕМЫЕ НЕЙРОННЫМИ СЕТЯМИ
1. РАСПРЕДЕЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ. РАСПРЕДЕЛЕННАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО ВЕСА СВЯЗЕЙ НЕЙРОНОВ ИМЕЮТ СТАТУС ИНФОРМАЦИИ БЕЗ СПЕЦИФИЧЕСКОЙ АССОЦИАЦИИ ЧАСТИ ИН- ФОРМАЦИИ С ОТДЕЛЬНЫМ НЕЙРОНОМ. АССОЦИАТИВНАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО НЕЙРОННАЯ СЕТЬ СПОСОБНА ВЫДАТЬ НА ВЫХОД ПОЛНЫЙ ОБРАЗ ПО ПРЕДЪЯВЛЕННОЙ НА ВХОДЕ ЕГО ЧАСТИ. 2. РАСПОЗНАВАНИЕ ОБРАЗОВ. ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ ТРЕБУЮТ СПОСОБНОСТИ ОДНОВРЕМЕННО ОБРАБАТЫВАТЬ БОЛЬШОЕ КОЛИЧЕСТВО ВХОДНОЙ ИНФОРМАЦИИ И ВЫДАВАТЬ КАТЕГОРИЧЕСКИЙ ИЛИ ОБОБЩЕННЫЙ ОТВЕТ. ДЛЯ ЭТОГО НЕЙРОННАЯ СЕТЬ ДОЛЖНА ОБЛАДАТЬ ВНУТРЕННИМ ПАРАЛЛЕЛИЗМОМ. 3. АДАПТИВНОЕ УПРАВЛЕНИЕ.
4. ПРОГНОЗИРОВАНИЕ.
5. ЭКСПЕРТНЫЕ СИСТЕМЫ.
6. ОПТИМИЗАЦИЯ (Т.Е. ПОИСК МАКСИМУМА ФУНКЦИОНАЛА ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ НА ЕГО ПАРАМЕТРЫ).
Обучение нейросети
Способность к обучению является фундаментальным свойством мозга.
В контексте нейросетей процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения некоторой специальной задачи.
Обычно нейронная сеть должна настроить свои веса связей по имеющейся обучающей выборке, причем функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство нейросетей обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по жестко определенному набору правил функционирования, сформулированных экспертами.
Обучение нейросети
Процесс обучения нейросети конструируется по модели внешней среды. Эта модель определяет парадигму обучения. Необходимо также понять, как именно следует модифицировать весовые параметры сети, т.е. какие правила обучения управляют процессом настройки. Алгоритм обучения обозначает процедуру, в которой используются правила обучения для настройки весов. Существуют три парадигмы обучения нейросетей: «с учителем», «без учителя» (самообучение) и смешанная.
Обучение нейросети
«Обучение с учителем»
нейронная сеть располагает правильными ответами (требуемыми выходами сети) для каждого входного примера, а веса настраиваются так, чтобы сеть производила ответы, как можно более близкие к известным правильным ответам. Усиленный же вариант обучения «с учителем» предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение нейросети
Обучение нейросети
основные типы правил обучения
Правило коррекции по ошибке
При обучении «с учителем» для каждого входного примера задан желаемый выход d, однако реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании разностного сигнала (d – y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Такое обучение производится только в случае, когда нейросеть ошибается. основные типы правил обучения
ОБУЧЕНИЕ БОЛЬЦМАНА
ПРЕДСТАВЛЯЕТ СОБОЙ СТОХАСТИЧЕСКОЕ ПРАВИЛО ОБУЧЕНИЯ, КОТОРОЕ СЛЕДУЕТ ИЗ ПРИНЦИПОВ ТЕОРИИ ИНФОРМАЦИИ И ТЕРМОДИНАМИЧЕСКИХ ПРИНЦИПОВ. цЕЛЬЮ ОБУЧЕНИЯ ОЛЬЦМАНА ЯВЛЯЕТСЯ ТАКАЯ НАСТРОЙКА ВЕСОВЫХ КОЭФФИЦИЕНТОВ, ПРИ КОТОРОЙ СОСТОЯНИЯ НЕЙРОНОВ ВНЕШНЕГО СЛОЯ УДОВЛЕТВОРЯЮТ ЖЕЛАЕМОМУ РАСПРЕДЕЛЕНИЮ ВЕРОЯТНОСТЕЙ. ОБУЧЕНИЕ ОЛЬЦМАНА МОЖНО РАССМАТРИВАТЬ КАК СПЕЦИАЛЬНЫЙ СЛУЧАЙ КОРРЕКЦИИ ПО ОШИБКЕ, В КОТОРОМ ПОД ОШИБКОЙ ПОНИМАЕТСЯ РАСХОЖДЕНИЕ КОРРЕЛЯЦИЙ СОСТОЯНИЙ В ДВУХ РЕЖИМАХ. основные типы правил обучения
Правило Хебба
Наиболее старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностьюэ того правила является то, что изменение синаптического веса здесь зависит только от активности нейронов, которые связаны данным синапсом.
основные типы правил обучения
Обучение методом соревнования
В отличие от обучения Хебба, в котором множество выходных нейронов может возбуждаться одновременно, при таком обучении выходные нейроны соревнуются между собой за активизацию. При обучении методом соревнования модифицируются только веса «победившего» нейрона. Эффект от этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей «победившего» нейрона), при котором он становится чуть ближе ко входному примеру.
Введение в нейронные сети
Теория искусственных нейронных сетей (НС) зародилась еще в 1940-х гг., и к 1960-м гг. Уже были разработаны однослойные НС (перцептроны), которые в ряде случаев оказались способны обучаться, осуществлять предсказания и распознавать образы. Однако нейронные сети имеют некоторые недостатки:
- Они связаны с недостатками механизмов обучения нейронных сетей. Большинство механизмов обучения имеют свои слабые места, которые могут привести к неправильной настройке системы.
- нейронные сети не могут объяснять свои действия (процесс получения того или иного решения).
Нейронные сети возникли из исследований в области искусственного интеллекта, а именно из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга. Основной областью исследований по искусственному интеллекту в 1960–1980-е гг. были экспертные системы, которые базировались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами). Введение в нейронные сети
Мозг человека состоит из очень большого числа (приблизительно 10 000 000 000) нейронов, соединенных многочисленными связями (в среднем — несколько тысяч связей на один нейрон, однако это значение может сильно меняться). Нейрон — это специальная клетка, способная распространять электрохимические сигналы. Нейрон имеет разветвленную структуру вводных каналов информации (дендриты), ядро и разветвляющийся выходной канал (аксон). Аксоны такой клетки соединяются с дендритами других нейронов клеток с помощью синапсов (Рис. 1). Введение в нейронные сети
Рис. 1 - Строение нейрона
Введение в нейронные сети
Будучи активированным, нейрон посылает электрохимический сигнал по своему аксону, и через синапсы этот сигнал достигает других нейронов, которые могут, в свою очередь, активироваться. Нейрон активируется, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации). Интенсивность сигнала, получаемого нейроном (а следовательно, и возможность его активации), сильно зависит от активности синапсов. Каждый синапс представляет собой промежуток (синаптическую щель) между аксоном и дендритом, и специальные химические вещества (медиаторы) передают сигнал через этот промежуток.
Искусственная модель нейрона
Самый важный элемент нейросистемы — это адаптивный сумматор. Он вычисляет скалярное произведение вектора входного сигнала x на вектор параметров. Адаптивным мы называем его из-за наличия вектора настраиваемых параметров (рис. 2) .
Рис. 2 - Аптивный сумматор
Искусственная модель нейрона
Следующий по важности элемент нейросистемы — нелинейный преобразователь сигнала (рис. 3). Он получает скалярный входной сигнал x и преобразует его в значение функции φ(x).
Рис. 3 - Нелинейный преобразователь сигнала
Искусственная модель нейрона
Точка ветвления (рис. 4) служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.
Рис. 4 - Точка ветвления
Искусственная модель нейрона
Линейная связь (синапс; рис. 5) обычно отдельно от сумматора не встречается, но для некоторых рассуждений бывает удобно выделить ее как отдельный элемент. Он умножает входной сигнал x на «вес синапса».
РИС. 5 - СИНАПС
Искусственная модель нейрона
стандартный формальный нейрон (рис. 6) составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.
РИС. 6 - СТАНДАРТНЫЙ ФОРМАЛЬНЫЙ НЕЙРОН
Искусственная модель нейрона
Чтобы отразить суть биологических нейронных систем, определение искусственного нейрона можно дать следующим образом:
- он получает входные сигналы (исходные данные либо выходные сигналы от других нейронов нейронной сети) через несколько входных каналов;
- каждый входной сигнал проходит через соединение, имеющее определенную интенсивность (вес), соответствующую синаптической активности биологического нейрона;
- с каждым нейроном связано определенное пороговое значение: вычисляется взвешенная сумма значений сигналов на входах, из нее вычитается пороговое значение и тем самым вычисляется величина активации нейрона (она также называется постсинаптическим потенциалом нейрона — PSP);
- сигнал активации преобразуется с помощью функции активации (или передаточной функции) в выходной сигнал нейрона.
Ключевой вопрос здесь — обратная связь. Простейшая сеть имеет структуру с прямой передачей сигнала: сигналы проходят от входов через скрытые элементы и рано или поздно поступают на выход.
Рис. 7 - Пример нейронной сети с прямой передачей сигнала
Применение нейронных сетей
На практике нейросети используются как программные продукты, выполняемые на обычных компьютерах, либо как специализированные аппаратно-программные комплексы.
В настоящее время нейросети находят широкое применение в различных областях, таких как экономика (предсказание показателей биржевого рынка, предсказание финансовых временных рядов), робототехника (распознавание оптических и звуковых сигналов, самообучение), визуализация многомерных данных, ассоциативный поиск текстовой информации и др. ОСНОВНЫЕ ЗАДАЧИ, РЕШАЕМЫЕ НЕЙРОННЫМИ СЕТЯМИ
1. РАСПРЕДЕЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ. РАСПРЕДЕЛЕННАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО ВЕСА СВЯЗЕЙ НЕЙРОНОВ ИМЕЮТ СТАТУС ИНФОРМАЦИИ БЕЗ СПЕЦИФИЧЕСКОЙ АССОЦИАЦИИ ЧАСТИ ИН- ФОРМАЦИИ С ОТДЕЛЬНЫМ НЕЙРОНОМ. АССОЦИАТИВНАЯ ПАМЯТЬ ОЗНАЧАЕТ, ЧТО НЕЙРОННАЯ СЕТЬ СПОСОБНА ВЫДАТЬ НА ВЫХОД ПОЛНЫЙ ОБРАЗ ПО ПРЕДЪЯВЛЕННОЙ НА ВХОДЕ ЕГО ЧАСТИ. 2. РАСПОЗНАВАНИЕ ОБРАЗОВ. ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ ТРЕБУЮТ СПОСОБНОСТИ ОДНОВРЕМЕННО ОБРАБАТЫВАТЬ БОЛЬШОЕ КОЛИЧЕСТВО ВХОДНОЙ ИНФОРМАЦИИ И ВЫДАВАТЬ КАТЕГОРИЧЕСКИЙ ИЛИ ОБОБЩЕННЫЙ ОТВЕТ. ДЛЯ ЭТОГО НЕЙРОННАЯ СЕТЬ ДОЛЖНА ОБЛАДАТЬ ВНУТРЕННИМ ПАРАЛЛЕЛИЗМОМ. 3. АДАПТИВНОЕ УПРАВЛЕНИЕ.
4. ПРОГНОЗИРОВАНИЕ.
5. ЭКСПЕРТНЫЕ СИСТЕМЫ.
6. ОПТИМИЗАЦИЯ (Т.Е. ПОИСК МАКСИМУМА ФУНКЦИОНАЛА ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ НА ЕГО ПАРАМЕТРЫ).
Обучение нейросети
Способность к обучению является фундаментальным свойством мозга.
В контексте нейросетей процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения некоторой специальной задачи.
Обычно нейронная сеть должна настроить свои веса связей по имеющейся обучающей выборке, причем функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство нейросетей обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по жестко определенному набору правил функционирования, сформулированных экспертами.
Обучение нейросети
Процесс обучения нейросети конструируется по модели внешней среды. Эта модель определяет парадигму обучения. Необходимо также понять, как именно следует модифицировать весовые параметры сети, т.е. какие правила обучения управляют процессом настройки. Алгоритм обучения обозначает процедуру, в которой используются правила обучения для настройки весов. Существуют три парадигмы обучения нейросетей: «с учителем», «без учителя» (самообучение) и смешанная.
Обучение нейросети
«Обучение с учителем»
нейронная сеть располагает правильными ответами (требуемыми выходами сети) для каждого входного примера, а веса настраиваются так, чтобы сеть производила ответы, как можно более близкие к известным правильным ответам. Усиленный же вариант обучения «с учителем» предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение нейросети
Обучение нейросети
основные типы правил обучения
Правило коррекции по ошибке
При обучении «с учителем» для каждого входного примера задан желаемый выход d, однако реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании разностного сигнала (d – y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Такое обучение производится только в случае, когда нейросеть ошибается. основные типы правил обучения
ОБУЧЕНИЕ БОЛЬЦМАНА
ПРЕДСТАВЛЯЕТ СОБОЙ СТОХАСТИЧЕСКОЕ ПРАВИЛО ОБУЧЕНИЯ, КОТОРОЕ СЛЕДУЕТ ИЗ ПРИНЦИПОВ ТЕОРИИ ИНФОРМАЦИИ И ТЕРМОДИНАМИЧЕСКИХ ПРИНЦИПОВ. цЕЛЬЮ ОБУЧЕНИЯ ОЛЬЦМАНА ЯВЛЯЕТСЯ ТАКАЯ НАСТРОЙКА ВЕСОВЫХ КОЭФФИЦИЕНТОВ, ПРИ КОТОРОЙ СОСТОЯНИЯ НЕЙРОНОВ ВНЕШНЕГО СЛОЯ УДОВЛЕТВОРЯЮТ ЖЕЛАЕМОМУ РАСПРЕДЕЛЕНИЮ ВЕРОЯТНОСТЕЙ. ОБУЧЕНИЕ ОЛЬЦМАНА МОЖНО РАССМАТРИВАТЬ КАК СПЕЦИАЛЬНЫЙ СЛУЧАЙ КОРРЕКЦИИ ПО ОШИБКЕ, В КОТОРОМ ПОД ОШИБКОЙ ПОНИМАЕТСЯ РАСХОЖДЕНИЕ КОРРЕЛЯЦИЙ СОСТОЯНИЙ В ДВУХ РЕЖИМАХ. основные типы правил обучения
Правило Хебба
Наиболее старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностьюэ того правила является то, что изменение синаптического веса здесь зависит только от активности нейронов, которые связаны данным синапсом.
основные типы правил обучения
Обучение методом соревнования
В отличие от обучения Хебба, в котором множество выходных нейронов может возбуждаться одновременно, при таком обучении выходные нейроны соревнуются между собой за активизацию. При обучении методом соревнования модифицируются только веса «победившего» нейрона. Эффект от этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей «победившего» нейрона), при котором он становится чуть ближе ко входному примеру.