Файл: Были предложены четыре модификации для работы этой модели нейронный компьютер.pdf

В
2018-ом году в
работе
[29]
были предложены четыре модификации для работы этой модели.
нейронный компьютер.
В
ней также было лишь краткое описание принципов дель нейронной сети с
внешней памятью под названием дифференцируемый
В
2016-ом году в
работе
[2]
была предложена усовершенствованная мо-
36].
является изобретение дифференцируемых механизмов внимания
[33,
34,
35,
Основным фактором появления нейронных сетей с
внешней памятью предоставление детального описания работы нейронной машины
Тьюринга.
вой модели.
Одной из задач выпускной квалификационной работы является работе не описаны подробно детали функционирования данной нейросете-
Модель
NTM
была предложена в
2014-ом году в
работе
[1].
В
этой мерах.
RMSProp),
что дает практический механизм для обучения программ на при- может быть обучена модификациями метода градиентного спуска
(например,
Тьюринга
(NTM)
является полностью дифференцируемой моделью,
которая мяти большого размера.
В
отличие от машины
Тьюринга,
нейронная машина успешного решения алгоритмических задач является введение адресной па-
Одним из способов улучшения стандартных рекуррентных сетей для памяти.
в течение длинных временных промежутков из-за отсутствия долгосрочной работой со структурами данных и
переменными,
а также хранением данных нием,
но очень ограничены в
возможностях для решения задач,
связанных с
ния на последовательностных данных и
с задачами обучения с
подкрепле-
Рекуррентные нейронные сети хорошо справляются с
задачами обуче- ные процедуры.
Но на практике это не всегда просто сделать.
[4,
5],
и поэтому имеют возможность имитировать произвольные программ- и
др
[19].
Кроме того,
известно,
что
RNN
являются полными по
Тьюрингу мер:
распознавание рукописного текста,
анализ текстов,
распознавание речи довательностей разной длины.
RNN
применимы в
таких задачах как,
напри- ные сети могут использовать свою внутреннюю память для обработки после- времени или последовательные логические цепочки.
Рекуррентные нейрон- машинного обучения тем,
что они способны обрабатывать серии событий во
Рекуррентные нейронные сети
(RNN)
отличаются от других методов
Введение
6

успешной модели
LSTM
на примере двух задач:
копирования последо-
–
сравнить качество работы этих моделей по отношению к
более ранней
–
отметить преимущества и
недостатки этих моделей;
строить необходимые схемы;
емого нейронного компьютера
(DNC),
модификаций
DNC,
а также про-
–
подробно описать работу нейронной машины
Тьюринга,
дифференциру-
В
работе были поставлены следующие задачи:
нейронного компьютера.
ка приложения для визуализации внутренних процессов дифференцируемого ное исследование вышеуказанных нейросетевых моделей,
а также разработ-
Целью работы является подробное теоретическое и
эксперименталь- ных с
построением вопросно-ответных систем.
нейросетевых моделей,
а также их применимость к
решению задач,
связан-
Предметом исследования является подробный анализ вышеуказанных нейронный компьютер.
ней памятью,
а именно нейронная машина
Тьюринга и
дифференцируемый
Объектом исследования данной работы являются нейронные сети с
внеш-
(например,
с графами),
решать алгоритмические задачи.
–
способность работать с
переменными,
а также со структурами данных мых параметров;
–
модель должна содержать относительно небольшое количество обучае-
–
способность решать
QA-задачи;
нейронной сети
(попытка уйти от концепции
«черного ящика»);
–
прозрачность принятия решений моделью и
интерпретируемость работы но зависеть от начальной инициализации);
–
устойчивость процесса обучения
(процесс обучения не должен существен-
–
высокая скорость обучения;
–
наличие
«долгосрочной»
обучаемой памяти;
К
таким нейросетевым моделям предъявляются следующие требования:
системам
(QA-задачи).
ных,
а также успешно решать задачи,
предъявляемые к
вопросно-ответным куррентных нейросетевых моделей,
способных хранить большие объёмы дан-
На сегодняшний день очень высока актуальность создания новых ре- tasks).
Эти модификации были основаны на работах
[31,
32].
качество решения задач,
связанных с
вопросно-ответными системами
(QA- дифференцируемого нейронного компьютера,
которые позволяли улучшить
7

вательностей битовых векторов и bAbi-task (базовые навыки вопросно- ответных систем);
– разработать приложение для визуализации внутренних процессов модели дифференцируемого нейронного компьютера;
В первом разделе предоставляются общие сведения по теме рекуррент- ных нейронных сетей.
Во втором разделе даётся подробное описание структуры и процесса обучения нейронной машины Тьюринга, перечисляются сферы применимо- сти, достоинства и недостатки данной модели.
В третьем разделе даётся подробное описание структуры и процесса обучения дифференцируемого нейронного компьютера, перечисляются до- стоинства и недостатки данной модели.
В четвертом разделе описываются результаты вычислительных экспе- риментов для задач копирования битовых векторов и bAbi-task. Даётся срав- нительный анализ работы моделей LSTM, NTM и DNC.
В разделе 5 описывается программное средство для визуализации DNC.
В разделе 6 перечисляются недостатки DNC.
В разделе 7 описываются модификации DNC.
8