Файл: Российской федерации федеральное государственное автономное образовательное учреждение высшего образования.pdf

Методы и методика
В обследованиях участвовали 16 добровольцев (12 мужчин, 4 женщи- ны, возраст 18–42 лет, средний возраст 33 года). Исходными данными

261 служили записи ЭЭГ, зарегистрированной 17 стандартных отведений (от- ведения F
7
, F
3
, F
z
, F
4
, F
8
, T
3
, C
3
, C
z
, C
4
, T
4
, T
5
, P
3
, P
z
, P
4
, T
6
, O
1
, O
2
), располо- женных по международному стандарту 10-20. Обследования проводились в 3 серии на каждом субъекте, выполнявших произвольные реальные дви- жения и их мысленные эквиваленты. Для регистрации ЭЭГ использовался усилитель биопотенциалов «Энцефалан» (ООО «Медиком МТД», г. Таган- рог). Частота дискретизации - 250 Гц. Режекторный фильтр – 50 Гц.
В ходе проведения трѐх экспериментальных серий обследуемые вы- полняли произвольные движения верхними и нижними конечностями, при этом на каждое выполнение одного движений отводилось 2 секунды. По- мимо этого, участникам предлагалось выполнить произвольное мысленное представление движения сразу после его реального выполнения в том же темпе (2 сек.).
Для обучения нейронных сетей были использованы 6 отведений ЭЭГ, выделенные эмпирическим путем как наиболее информативные в контек- сте классификации мысленных эквивалентов реальных движений, а имен- но: F
3
, F
4
, O
1
, O
2
, P
3
, P
4
. Такой выбор также был обусловлен желанием уменьшить число анализируемых параметров модели, напрямую связанное с размерностью входных данных. В среднем по субъектам количество эпох разных классов было следующим: правая рука – 35.9±9.7, левая рука –
35.1±9.1, ноги – 32.9±9.2. Суммарно же для всех субъектов было 1663 эпо- хи трех классов мысленных движений. Таким образом, выборка данных имела размерности (1663, 6, 500).
В ходе проведѐнного исследования было разработано и апробировано два подхода глубокого обучения (Deep Learning), включающих классиче- скую свѐрточную сеть с общими временными фильтрами (convolutional neural network, Common CNN) и оригинальную свѐрточную сеть с незави- симыми фильтрами (Multi-headed CNN). В обоих подходах (как Multi- headed CNN, так и Common CNN) использовалась активационная функция
ReLU, алгоритм оптимизации ADAM, размер пакета составлял 32.
Программный интерфейс сформирован на базе мобильного Android- приложения, служащего для организации Bluetooth-соединений, отображе- ния графической информации, выявления нейрофизиологических паттер- нов, отвечающих за выполнение произвольных мысленных команд, и пе- редачи их в качестве сообщения.
Сообщения, передающиеся по Bluetooth-каналу от устройства к устройству, являются распознанными классификатором нейрофизиологи- ческими паттернами, закодированными по разработанному протоколу для передачи данных. Процесс передачи сообщения-команды производится сразу после распознавания. При получении сообщения устройством ко- манда раскодируется, согласно протоколу, и отображается в графическом виде.

262
В качестве графической информации, призванной сообщить пользова- телю об исправностях соединений и работы классификатора, служат окно с выводом графиков, отображающих многоканальный сигнал с электроэн- цефалографа (ЭЭГ), и цветовой индикатор распознанных классификатором мысленных команд. Аналогичные цветовые индикаторы применяются для отображения сообщений, которыми обмениваются мобильные устройства, участвующие в контуре системы нейрокоммуникации.
Результаты и обсуждение
Первый подход Common CNN аппроксимировал многомерные вре- менные ряды ЭЭГ обобщѐнными фильтрами для всех анализируемых от- ведений, то есть, свѐртка осуществлялась по времени. Кроме того, в каж- дом временном окне захватывался временной сегмент определенной дли- ны каждого из каналов, длительность до 700 мс. В результате модель по- лучила 3956 обучаемых параметров, ее архитектура представлена на
Рис. 1.
Рис. 1. Архитектура Common CNN с общими фильтрами
Тестирование модели Common CNN осуществлялось на выделенном многомерном массиве обучаемых параметрах, а еѐ функция потерь Хубера составляла, в среднем, 0,5. Точность классификации на 3 и 4 классах варь- ировала у разных обследуемых от 0,38 до 0,67. Сравнительный анализ по- казал, что учѐт пространственной компоненты ЭЭГ позволил повысить

263 точность классификации целевых паттернов, по сравнению с традицион- ным подходом свѐртки, только по времени.
Второй подходMulti-headed CNN состоял в том, что отобранные от- ведения ЭЭГ обрабатывались независимо друг от друга различными филь- трами. Данная процедура является физиологически обоснованной, по- скольку ЭЭГ характеризуется пространственной спецификой, связанной со относительной функциональной специализацией различных зон коры го- ловного мозга, в которых характер и частотный состав регистрируемой ак- тивности может существенно отличаться. Была создана и протестирована архитектура, представленная на Рис. 2. Она включала в себя 4556 обучае- мых параметров, выделенных на основе анализа 6 отведений ЭЭГ с ис- пользованием 3 фильтров. Длина и шаг свертки составляли 190 точек
(760 мс) и 25 отсчѐтов времени (100 мс).
Рис. 2. Архитектура multi-headed CNN с независимыми фильтрами
(многоточием показаны 4 аналогичных блока первых слоѐв с собственными фильтрами)
Результат экспериментальной проверки архитектуры Multi-headed
CNN показал, что уже в ходе обучения сеть включала в себя значительно большее число обучаемых параметров ЭЭГ паттернов мысленных движе- ний при рассмотрении признакового пространства с мерностью до 6 кана- лов регистрации и 3 фильтров на каждом из них. Данная модель в условиях

264 валидации функции потерь Хубера имела значение 0,34, а точность клас- сификации на 3 и 4 целевых классах составляла 0,4 – 0,76. Работоспособ- ность модели, в частности, подтверждалась еѐ быстрым обучением, по- скольку уже на 200 экземплярах данных модель подбирала оптимальные гиперпараметры, позволяющие проводить классификацию целевых пат- тернов на уровне, превышающем случайный – выше 0,33. При этом дина- мика точности при обучении являлась строго положительной, а функция потерь – отрицательной, что хорошо характеризовало модель и перспекти- вы ее дальнейшего развития.
Повышение надѐжности функционирования комплекса в режиме ре- ального времени представляет собой актуальную задачу, от решения кото- рой зависит уровень повышения качества жизни лиц с инвалидностью и повышение их автономности [7]. Разработка комплексного подхода и ги- бридных методов нейрореабилитации способно повысить качество жизни и автономность лиц с нарушениями моторных функций на основе не трав- мирующих реабилитационных методов, его медиаторных систем с целью повышения нейрональной пластичности. Благодаря применению совре- менных подходов к созданию нейросетевой архитектуры нейроинтерфей- са, результаты проекта могут найти широкое применение в сфере нейро- физиологии, математики и робототехники, а также на стыке различных об- ластей знаний.
Работа поддержана Грантом Российского Научного Фонда № 20-19-
00627 "Разработка стимул-независимой модели интерфейса "Мозг- компьютер" для реабилитации людей с ограниченными возможностями"
Литература
1.
Khan M. A., Das, R., Iversen H. K., & Puthusserypady S. (2020). Review on motor imagery based BCI systems for upper limb post-stroke neurorehabilita- tion: From designing to application. Computers in Biology and Medicine,
103843.
2.
Qiu Z., Allison B. Z., Jin, J., Zhang Y., Wang X., Li W., & Cichocki A.
(2017). Optimized motor imagery paradigm based on imagining Chinese characters writing movement. IEEE Transactions on Neural Systems and
Rehabilitation Engineering, 25(7), 1009–1017.
3.
Chaudhary U., Birbaumer N., & Curado M. R. (2015). Brain-machine inter- face (BMI) in paralysis. Annals of physical and rehabilitation medicine,
58(1), 9–13.
4.
Vidya G., Vipitha E. P., & Hridya S. G. (2018). Brain controlled home auto- mation system. BRAIN, 5(04).

265 5.
Mainsah B. O., Collins L. M., Colwell K. A., Sellers E. W., Ryan D. B.,
Caves K., & Throckmorton C. S. (2015). Increasing BCI communication rates with dynamic stopping towards more practical use: an ALS study. Journal of neural engineering, 12(1), 016013.
6.
Allison B. Z., Cho W., Ortner R., Heilinger A., Edlinger G., & Guger C.
(2017, July). Validation of a Brain-Computer Interface (BCI) System De- signed for Patients with Disorders of Consciousness (DOC): Regular and
Sham Testing with Healthy Participants. In International Conference on
Augmented Cognition (pp. 253–265). Springer, Cham.
7.
Кирой В. Н. (2011). Интерфейс мозг – компьютер (история, современ- ное состояние, перспективы).

266
ПОСТРОЕНИЕ ОБЛАКА ТОЧЕК ПО ВИДЕО
С АВТОРЕГИСТРАТОРА
Шевцов О. И., Демяненко Я. М.
ФГАОУ ВО «Южный федеральный университет»,
Институт математики, механики и компьютерных наук
им. И. И. Воровича
E-mail: oshevcov@sfedu.ru, demyana@sfedu.ru
Целью исследования является оценка применимости готовых решений по построению облака точек к задаче восстановления 3D сцены из видео с авторегистратора.
В ходе решения задачи была рассмотрена библиотека OpenSfM, со- держащая реализацию восстановления разреженного облака точек на осно- ве набора кадров, взятых из видео.
Была проанализирована применимость предложенных в библиотеке алгоритмов к задаче реконструкции разряженного облака точек по видео с авторегистратора и дальнейшего использования полученных результатов в качестве основы для построения 3D сцены.
Были рассмотрены алгоритмы обнаружения особых точек AKAZE [1],
HAHOG [2] и ORB [3], а также проведены тесты производительности их реализации в рассматриваемой библиотеке. На основе 200 изображений взятых из датасета записей, полученных с авторегистратора, получено не- сколько вариантов реконструированных разряженных облаков точек с применением каждого из рассматриваемых алгоритмов. Замеры проводи- лись на системе со следующими спецификациями: процессор - Intel Core i5-7500 CPU @ 3.40 ГГЦ, оперативная память - 16,0 ГБ. В результате сравнительного анализа не было выявлено принципиальной разницы в ка- честве получаемого облака, каждый из подходов продемонстрировал по- хожий результат. Однако временные замеры выявили серьезное превос- ходство AKAZE, он показал хорошую скорость в сравнении с другими двумя алгоритмами, при этом качество получаемых результатов не постра- дало. Самые неудовлетворительные результаты показал ORB, основываясь на проведенных нами изысканиях, сделан вывод, что алгоритм попарно сравнивал каждое из 200 изображений на предмет наличия общих точек.
Дальнейшее использование полученного нами облака точек для по- строения 3D сцены позволило выявить существенную проблему. Так как нижняя часть кадров, взятых из видео, практически всегда занята дорож- ным полотном, обнаружение особых точек на котором затруднено, то на
3D сцене появляются серьезные разрывы. Следовательно, для корректного использования алгоритмы библиотеки требуют дополнительной модифи- кации либо постобработки 3D сцены.

267
Литература
1. Lester Kalms, Khaled Mohamed, and Diana Göhringer. 2017. Accelerated
Embedded AKAZE Feature Detection Algorithm on FPGA. In Proceedings of
HEART2017, Bochum, Germany, June 07-09, 2017, 6 pages
2. Implementation of hog edge detection algorithm onfpga‘s Berkant BAŞA* a
Sakarya University, Faculty of Computer and Information Sciences, Depart- ment of Computer Engineering, 54187, Sakarya TURKEY
3. Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564–2571.

268
ПОИСК МОДЕЛИ ДЛЯ ДЕТЕКТИРОВАНИЯ РУКИ
НА ИЗОБРАЖЕНИЯХ С RGB-КАМЕРЫ
Шепелев Д. И., Демяненко Я. М.
ФГАОУ ВО «Южный федеральный университет»,
Институт математики, механики и компьютерных наук
им. И. И. Воровича
E-mail: shdaig@gmail.com, demyana@sfedu.ru
Разрабатываемый подход к визуализации позы руки в трѐхмерном пространстве по изображению с rgb-камеры включает систему детектиро- вания и систему нахождения ключевых точек.
Система детектирования служит для локализации руки с последую- щей подачей обрезанного изображения на вход системе нахождения клю- чевых точек, и представляет из себя свѐрточную нейронную сеть.
В результате поиска оптимальной модели для детектирования, при ко- торой сохраняются высокая частота кадров в секунду и точность детекти- рования, было протестировано 3 сети, наиболее часто используемых для решения аналогичных задач.
Сеть на архитектуре YoloV3 [1] показала себя как наименее эффек- тивная для обработки изображения, так как частота кадров не превышала
2 кадров в секунду.
Модель YoloV3-tiny, позиционирующаяся как модель для работы на мобильных устройствах, с более высокой скоростью обрабатывает изоб- ражение, в связи с чем частота кадров в среднем достигает 15 кадров в се- кунду.
Сеть на архитектуре SSD [2] является самой эффективной из проте- стированных с частотой в 30 кадров в секунду и наиболее стабильным де- тектированием, что позволяет ее использовать в дальнейших разработках в задаче визуализации позы руки.
Обучение производилось с помощью TensorFlow [3] с использованием оптимизационного алгоритма Adam [4].
Для обучения использовались стандартные для данных архитектур функции потерь и датасет EgoHands [5]. Датасет представляет из себя 4700 размеченных изображений с разрешением 1280x720. Для удобства обуче- ния изображения были уменьшены до размера 640x360, значения разметки изменены в соответствии с размером изображений. Датесет был распреде- лен по двум выборкам: тренировочная, содержащая 4230 изображений
(90%), и валидационная, содержащая 470 изображений (10%).

269
По итогу тестирования была выбрана модель свѐрточной нейронной сети на архитектуре SSD, которая отличается высокой точностью детекти- рования и является экономной к аппаратным ресурсам компьютера, что позволяет в дальнейшем с высокой эффективностью использовать воз- можности системы нахождения ключевых точек.
Литература
1. Redmon J., Farhadi A., Yolov3: An incremental improvement, 2018. doi:10.48550/ARXIV.1804.02767.
2. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S. E., Fu C., Berg A. C.,
SSD: single shot multibox detector, CoRR abs/1512.02325 (2015).
3. Abadi M., Agarwal A., Barham P., Brevdo E., Chen Z., Citro C., Cor- rado G. S., Davis A., Dean J., Devin M., et al. Tensorflow: Large-scale ma- chine learning on heterogeneous distributed systems. arXiv preprint arXiv:1603.04467, 2016.
4. Kingma D. P. and J. Ba. Adam: A method for stochastic optimization. CoRR, abs/1412.6980, 2014.
5. Bambach S., Lee S., Crandall D. J., Yu C., Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions, in: The IEEE
International Conference on Computer Vision (ICCV), 2015.

270
ПОВЫШЕНИЕ ИММЕРСИВНОСТИ ПРИ РАЗРАБОТКЕ
ИНТЕРАКТИВНОЙ 3D СИМУЛЯЦИИ ДЛЯ ВЫПОЛНЕНИЯ
ЛАБОРАТОРНЫХ РАБОТ ПО АНАЛИТИЧЕСКОЙ ХИМИИ
Штейн О. О.
ФГАОУ ВО «Южный федеральный университет»,
Институт математики, механики и компьютерных наук
им. И. И. Воровича
E-mail: shteyn@sfedu.ru
Одними из главных компонент в лабораторных работах по химии являются жидкости, например растворы веществ, жидкие реагенты, вода для разбавления и получения требуемой концентрации и так далее. Как следствие, моделирование поведения жидкого вещества, особенно его вытекание из сосуда, достаточно важно при разработке химической лаборатории. И чем достовернее будет выглядеть имитируемое движение, тем правдоподобнее получится разрабатываемая программа, соответственно, тем критичнее и, возможно, неординарнее задача.
На сегодняшний день существуют разные способы и приемы воспро- извести выливающуюся жидкость, однако в данном интерактивном симуляторе химической лаборатории предлагается еще один – инвер- сивная кинематика. Если упростить эту модель, то получится система из крутящихся шарниров и зависимых от них соединительных элементов, которая выходит из точки А и должна достать до точки В, где А – это горлышко верхнего сосуда и В – центр донышка нижнего сосуда.
При обнаружении соприкосновения двух сосудов описанная система по заранее заданному алгоритму просчитывает минимальный путь и необходимые для его прохождения углы поворота шарниров. Для большей достоверности все расчеты проходят в невидимом для пользователя состоянии. Когда все значения окончательно известны, то по очереди ак- тивируются и поворачиваются все шарниры и соединительные элементы, начиная от ближайшего к точке А. Естественно, вся система начинает работу при условии, что в верхнем сосуде имеется некоторое количество жидкости.
Алгоритм высчитывания угла поворота шарнира достаточно прост и базируется на предположении, что с каждым поворотом система должна приблизиться к цели; в случае невозможности выполнения данного утверждения ей следует оставаться в текущем состоянии. Для этого у каждого шарнира высчитываются 2 вектора – «шарнир-цель» и «шарнир- последний элемент». Далее между ними высчитывается угол и именно на это значение и сдвигается шарнир.
Один из минусов данного способа – это трудности с вычислением угла по всем трем координатным осям сразу, поэтому было принято

271 решение, что в теоретической модели шарнир может повернуться только по одной из осей. Поэтому изначально был введен фактор случайности — если цель еще не достигнута, то в 3% случаях шарнир может поменять свою ось вращения. Это позволило системе проявить свою гибкость.
Однако оказалось, что в реализуемой лаборатории все проще, нежели чем в смоделированной раннее теоретической системе – из-за особенностей расположения предметов на столе всем шарнирам имеет смысл крутиться только по одной оси.
Помимо реализма проводимых экспериментов и их составляющих, достоверности при работе в интерактивной программной лаборатории придают разные мелочи, например, реальный вид из окна, знакомое расположение вещей на заднем плане или последствия несоблюдения техники безопасности. Одним из таких обязательных к соблюдению правил является аккуратное обращение с колбами, иначе они могут упасть и разбиться несмотря на то, что лаборатория не настоящая.
Процесс разбивания был реализован на основе модели свободного падения тела с нулевой начальной скоростью. Когда пользователь взаимодействует с колбой, в фоновом режиме производится расчет конечной скорости, с которой упадет колба на заранее определенную поверхность (и об которую разобьется).
В обычной жизни, если предмет поднят невысоко или его аккуратно опустили, то он остается целым, поэтому в программе специально предусмотрено сравнение скорости с неким эмпирическим пределом и после экспериментально проверенным значением – если высчитанная раннее скорость больше, то предмет бьется, если меньше – уцелеет.
В случае, если объект разобьется, формируется набор случайный набор осколков. Также в программе предусмотрен дополнительный случайный фактор, который может позволить колбе уцелеть. Это было сделано специально, чтобы избежать ситуаций, когда обучающийся опытным путем высчитал, с какой высоты можно безопасно кидаться колбой.
Все рассмотренные механики игрового симулятора реализованы на платформе Unity и являются вспомогательными для основной механики расчета химических экспериментов. Отметим, что детали, способствующие погружению в процесс симуляции, повышают среднее время игровой сессии и позволяют удерживать внимание обучающихся дольше.
Предложенные методы добавления достоверности при выполнении лабораторных работ не являются единственным решением данной проблемы и не делают программную лабораторию идентичной реальной.
Однако они позволяют учащемуся меньше отвлекаться на не- реалистичность происходящего и больше сосредоточиться на проведении опыта, что также является отличным показателем их жизнеспособности.

272

1   ...   20   21   22   23   24   25   26   27   28