Файл: Исследование возможностей практики применения искусственных нейронных сетей в экономике.pdf

Нейросетевые технологии предлагают наиболее эффективное сжатие данных, благодаря построению нелинейных отображений и визуализации данных в пространстве меньшего числа нелинейных главных компонент.

По сравнению с методами непараметрической статистики, нейронная сеть с радиальными базисными функциями позволяет сокращать число ядер, оптимизировать координаты и размытость каждого ядра. Это позволяет при сохранении парадигмы локальной ядерной аппроксимации ускорять дальнейший процесс принятия решения.

В подобных сложных системах целесообразно использовать модели, которые могут напрямую создавать полную имитацию поведения экономики в целом. Это можно сделать с помощью использования нейросетевых технологий. Нейросетевые технологии необходимо еще долго изучать. Уже сейчас есть полезные методы, которыми пользуются в различных сферах деятельности. Однако, пока это достаточно узкие области и неизвестно, смогут ли доверить нейронным сетям решение вопросов, которые подразумевают понимание социального контекста.

Изучение нейросетевых технологий является актуальной темой в наше время. Необходимо изучать и исследовать их возможности.

Однако нейросетевые технологии не могут полностью заменить человека в процессе решения задач. Нейронные сети пока могут использоваться для обобщения данных и необходимо дальше искать дополнительные области возможного их применения.

1.2 Теоретические аспекты использования нейронных сетей предприятиями

Использование ИНС налагает существенные требования на вычислительные возможности компании – для адекватной работы такой модели необходимо большое количество статистических данных и проведение значительного объема вычислений как для начальной «тренировки» сети, так и для непосредственного решения задачи. К тому же, нейронные сети могут быть весьма сложными в разработке. Эти два обстоятельства предопределяют использование ИНС главным образом крупными корпорациями.^[7]

Компания Google использует нейронную сеть в Переводчике для распознавания человеческой речи, что существенно ускоряет процесс ввода текста и соответственно упрощает процесс перевода текста для пользователя. Еще одним примером использования нейросети для предоставления услуг является Snapchat – мобильное приложение для обмена сообщениями с прикрепленными фото и видео, где сеть используется для распознавания образов, например, человеческого лица. Еще одним примером, иллюстрирующим успешное применение ИНС, является американская финансовая корпорация Citicorp, которая использует нейрокомпьютер для анализа и краткосрочного предсказания колебаний курсов валют.

В России разработка и внедрение нейронных сетей происходит в нескольких фирмах. Так, Mail.Ru Group и «Яндекс» применяют нейросети для обработки и классификации текстов в «Поиске», анализа изображений. Это позволяет повысить качество работы предоставляемых ими сервисов, и, как следствие – повысить интерес к ним. Нейронная сеть, как и другие алгоритмы машинного обучения, как полагают эксперты – следующий шаг в автоматизации любых процессов, поэтому ИНС в будущем будут не только применяться для замены человека в конкретных процессах и действиях, а смогут заменить целые профессии.

При этом следует отметить, что структура ИНС не позволяет «проследить» за ее работой на каждом этапе, как следствие – отсутствует возможность исследовать, почему нейронная сеть приняла то или иное решение, а значит, и проверить правильность ее выводов, не решая проблему самостоятельно, что может вызывать определенный скепсис в некоторых областях, например – в медицине. Ситуацию усугубляет предрасположенность сетей к ложной классификации объекта при «зашумленности» исходных данных, незаметной для человеческого глаза.

В работе описано применение ИНС для прогнозирования финансового состояния российских предприятий. Как следует из результатов эксперимента, представленных в таблице 1, правильно выбранная модель ИНС демонстрирует высокую степень точности в решении выбранной задачи.

Таблица 1

Результат применения ИНС для прогнозирования

 В статье рассматривается использование ИНС для прогнозирования финансовых рынков, в частности – для предсказания индекса ММВБ. Самая оптимальная модель сети при этом сумела осуществить прогноз направления тренда, несмотря на непростую экономическую ситуацию в выбранное время, усложняющую решение задачи. Различные модели нейронных сетей применены для прогнозирования поведения экономических процессов предприятий.

Исследование показало высокую точность аппроксимации временного ряда, данную обоими рассматриваемыми моделями за очень короткое время.

Полученные результаты свидетельствуют о возможности получения значительного экономического эффекта хозяйствующими субъектами.

Глава 2 Практика применения нейронных сетей в экономике

2.1 Применение нейронных сетей в экономике

В последние 10 лет deep learning и компьютерное зрение развивались неимоверными темпами. Все, что сделано значимого в этой области, произошло в последние лет 6.

В данной главе курсовой работы, будут рассмотрены практические аспекты: где, когда, что применять в плане deep learning для обработки изображений и видео, для распознавания образов и лиц, поскольку я работаю в компании, которая этим занимается.

Прототипом для создания нейронных сетей послужили, как это ни странно, биологические нейронные сети. Возможно, многие из вас знают, как программировать нейронную сеть, но откуда она взялась, я думаю, некоторые не знают. Две трети всей сенсорной информации, которая к нам попадает, приходит с зрительных органов восприятия. Более одной трети поверхности нашего мозга заняты двумя самыми главными зрительными зонами — дорсальный зрительный путь и вентральный зрительный путь.

Дорсальный зрительный путь начинается в первичной зрительной зоне, в нашем темечке и продолжается наверх, в то время как вентральный путь начинается на нашем затылке и заканчивается примерно за ушами. Все важное распознавание образов, которое у нас происходит, все смыслонесущее, то что мы осознаём, проходит именно там же, за ушами.

Почему это важно? Потому что часто нужно для понимания нейронных сетей. Во-первых, все об этом рассказывают, и я уже привыкла что так происходит, а во-вторых, дело в том, что все области, которые используются в нейронных сетях для распознавания образов, пришли к нам именно из вентрального зрительного пути, где каждая маленькая зона отвечает за свою строго определенную функцию. Изображение попадает к нам из сетчатки глаза, проходит череду зрительных зон и заканчивается в височной зоне.

В далекие 60-е годы прошлого века, когда только начиналось изучение зрительных зон мозга, первые эксперименты проводились на животных, потому что не было fMRI. Исследовали мозг с помощью электродов, вживлённых в различные зрительные зоны. Первая зрительная зона была исследована Дэвидом Хьюбелем и Торстеном Визелем в 1962 году. Они проводили эксперименты на кошках. Кошкам показывались различные движущиеся объекты. На что реагировали клетки мозга, то и было тем стимулом, которое распознавало животное. Даже сейчас многие эксперименты проводятся этими драконовскими способами. Но тем не менее это самый эффективный способ узнать, что делает каждая мельчайшая клеточка в нашем мозгу.

Таким же способом были открыты еще многие важные свойства зрительных зон, которые мы используем в deep learning сейчас. Одно из важнейших свойств — это увеличение рецептивных полей наших клеток по мере продвижения от первичных зрительных зон к височным долям, то есть более поздним зрительным зонам. Рецептивное поле — это та часть изображения, которую обрабатывает каждая клеточка нашего мозга. У каждой клетки своё рецептивное поле. Это же свойство сохраняется и в нейронных сетях, как вы, наверное, все знаете. Также с возрастанием рецептивных полей увеличиваются сложные стимулы, которые обычно распознают нейронные сети.

Рисунок 1

Здесь вы видите примеры сложности стимулов, различных двухмерных форм, которые распознаются в зонах V2, V4 и различных частях височных полей у макак. Также проводятся некоторое количество экспериментов на МРТ.

Рисунок 2

Здесь вы видите, как проводятся такие эксперименты. Это 1 нанометровая часть зон IT cortex'a мартышки при распознавании различных объектов. Подсвечено то, где распознается. Просуммируем. Важное свойство, которое мы хотим перенять у зрительных зон — это то, что возрастают размеры рецептивных полей, и увеличивается сложность объектов, которые мы распознаем.

2.2 Применением технологии компьютерного зрения

До того, как мы научились это применять к компьютерному зрению — в общем, как такового его не было. Во всяком случае, оно работало не так хорошо, как работает сейчас. Все эти свойства мы переносим в нейронную сеть, и вот оно заработало, если не включать небольшое отступление к датасетам, о котором расскажу попозже.

Но сначала немного о простейшем перцептроне. Он также образован по образу и подобию нашего мозга. Простейший элемент напоминающий клетку мозга — нейрон. Имеет входные элементы, которые по умолчанию располагаются слева направо, изредка снизу вверх. Слева это входные части нейрона, справа выходные части нейрона.

Простейший перцептрон способен выполнять только самые простые операции. Для того, чтобы выполнять более сложные вычисления, нам нужна структура с большим количеством скрытых слоёв.

Рисунок 3

В случае компьютерного зрения нам нужно еще больше скрытых слоёв. И только тогда система будет осмысленно распознавать то, что она видит.

Итак, что происходит при распознавании изображения, я расскажу на примере лиц. Для нас посмотреть на эту картинку и сказать, что на ней изображено именно лицо статуи, достаточно просто.

Однако до 2010 года для компьютерного зрения это было невероятно сложной задачей. Те, кто занимался этим вопросом до этого времени, наверное, знают насколько тяжело было описать объект, который мы хотим найти на картинке без слов. Нам нужно это было сделать каким-то геометрическим способом, описать объект, описать взаимосвязи объекта, как могут эти части относиться к друг другу, потом найти это изображение на объекте, сравнить их и получить, что мы распознали плохо. Обычно это было чуть лучше, чем подбрасывание монетки. Чуть лучше, чем chance level.

Сейчас это происходит не так. Мы разбиваем наше изображение либо на пиксели, либо на некие патчи: 2х2, 3х3, 5х5, 11х11 пикселей — как удобно создателям системы, в которой они служат входным слоем в нейронную сеть.

Сигналы с этих входных слоёв передаются от слоя к слою с помощью синапсов, каждый из слоёв имеет свои определенные коэффициенты. Итак, мы передаём от слоя к слою, от слоя к слою, пока мы не получим, что мы распознали лицо. Условно все эти части можно разделить на три класса, мы их обозначим X, W и Y, где Х — это наше входное изображение, Y — это набор лейблов, и нам нужно получить наши веса. Как мы вычислим W?

При наличии нашего Х и Y это, кажется, просто. Однако то, что обозначено звездочкой, очень сложная нелинейная операция, которая, к сожалению, не имеет обратной. Даже имея 2 заданных компоненты уравнения, очень сложно ее вычислить. Поэтому нам нужно постепенно, методом проб и ошибок, подбором веса W сделать так, чтобы ошибка максимально уменьшилась, желательно, чтобы стала равной нулю.

Рисунок 4

Этот процесс происходит итеративно, мы постоянно уменьшаем, пока не находим то значение веса W, которое нас достаточно устроит. К слову, ни одна нейронная сеть, с которой я работала, не достигала ошибки, равной нулю, но работала при этом достаточно хорошо.

Рисунок 5

Перед вами первая сеть, которая победила на международном соревновании ImageNet в 2012 году. Это так называемый AlexNet. Это сеть, которая впервые заявила о себе, о том, что существует convolutional neural networks и с тех самых пор на всех международных состязаниях уже convolutional neural nets не сдавали своих позиций никогда. Несмотря на то, что эта сеть достаточно мелкая (в ней всего 7 скрытых слоёв), она содержит 650 тысяч нейронов с 60 миллионами параметров.