Файл: Невербальные проявления эмоциональных проявлений человека.pdf

Были проведены эксперименты, целью которых было выявление закономерностей в восприятии человеком базовых эмоций с помощью анализа перемещения взгляда в зонах интереса при просмотре видео разного «эмоционального окраса». Для проведения эксперимента был составлен набор из 6-ти тестовых стимулов. Каждый из них представляет собой видеофайл, содержащий последовательность кадров изменения мимики лица человека – от нейтрального до целевой эмоции. Естественный фон был обрезан по контуру головы. Длина каждого видео составляет 1 секунда – 30 кадров. Совокупность кадров видеофайла представлена на рисунке 2.

Рис.2. Последовательность кадров видеофайла

В соответствии с системой кодирования лицевых движений, разработанной П. Экманом, анализ изменений мимики лица сводится к следующим областям: левый глаз, правый глаз, нос, рот^[20]. В соответствии с этим положением были выделены соответствующие «зоны интереса» для исследования восприятия эмоций. Схематически исследуемые «зоны интереса» представлены на рисунке 3.

Рис. 3. Зоны интереса: 1) левый глаз, 2) правый глаз, 3) нос, 4) рот

Исследуемой величиной является общая продолжительность нахождения центра взгляда в зоне интереса, измеряемая в миллисекундах.

Также исследованию подлежал анализ правильности распознавания продемонстрированной эмоции посредством выбора соответствующего тега. В интерфейсе программы пользователю предлагалось выбрать тег, описывающий, какая эмоция была продемонстрирована (рис. 43).

Рис.4. Интерфейс тегирования эмоций

Для визуализации перемещения взгляда был использован метод графического представления данных в виде тепловой карты^[21].

В тестировании принимало участие 10 человек: 5 мужчин и 5 женщин в возрасте от 20 до 25 лет. Согласно инструкции, испытуемым было необходимо зафиксировать взгляд на представляемых им стимулах. При этом посредством камеры Tobii eye tracker 4c фиксировались перемещения направления взгляда и записывались в файл для анализа. В результате тестирования были получены данные, приведенные в таблице 3. По завершении каждого теста испытуемому необходимо было выбрать тег в окне программы, соответствующий продемонстрированной эмоциональной экспрессии.

Результаты анализа правильности распознавания испытуемым базовой эмоции приведены в таблице 4.

Таблица 3

Общая продолжительность фиксаций в каждой лицевой области каждой из 6 эмоциональных экспрессий

Таблица 4

Процент верного распознавания каждой эмоции

По результатам проведенного исследования можно сделать следующие выводы.

1. При экспозиции изображений экспрессий лица количество фиксаций направления взгляда происходит в левой половине в большей степени.

2. На выделенные «зоны интереса» затрачивается большая часть времени восприятия.

3. Максимальная продолжительность осмотра приходится на зону носа и переносицы, в меньшей степени – на зону рта и глаз.

4. Также из таблицы 3 можно заметить, что сильная экспрессия, такая как радость, страх и удивление распознаются лучше, чем остальные. Полученные результаты и предложенные методы оценки интереса участков изображения применяются в работе по распознаванию эмоциональных состояний.

Использование жестов в определении эмоционального состояния человека.

Рассматриваемый подход основан на использовании жестов для увеличения точности оценки эмоций. Он базируется на использовании сенсора Leap Motion^[22]. Этот сенсор используется для считывания данных о динамике движения кистей рук человека в пространстве, а также для определения (распознавания) жестов. Данный подход дополняет собой другой метод определения эмоционального состояния человека, основанный на анализе мимики лица человека (см. выше).

В качестве технического устройства для захвата движения рук было рассмотрено несколько устройств: Leap Motion, Microsoft Kinect и OptiTrack. Сенсор Microsoft Kinect обладает довольно плохой точностью распознавания мелких объектов, что делает невозможным распознавание пальцев рук человека. Данный технический недостаток в дальнейшем пагубно скажется на распознавании жестов и некоторых видов движения, например, дрожания.

Камера OptiTrack обладает необходимыми характеристиками и способна обеспечить распознавание любых частей тела человека, их движений. Однако использование данной камеры нецелесообразно из-за дороговизны устройства.

Из трех рассмотренных устройств наиболее подходящим оказался сенсор Leap Motion. При относительной дешевизне он обладает необходимыми характеристиками, достаточными для реализации метода, использующего жесты для определения текущего эмоционального состояния человека.

Метод распознавания эмоционального состояния по мимике и жестам состоит из двух этапов:

сначала происходит считывание мимики лица человека и определение его вероятных эмоций. Затем эта информация сопоставляется с данными, полученными с помощью Leap Motion. При проявлении эмоций человек рефлекторно совершает некоторые действия руками. Это могут быть как изменения в динамике их движения, так и формирование определенных жестов. На рисунке 54 продемонстрированы примеры жестов человека при проявлении эмоций.

Рис. 5. Жесты при проявлении эмоций. а) – удивление, б) гнев, в) нейтральность.

Помимо жестов, для уточнения эмоций можно использовать информацию о динамике движения рук. Например, при проявлении страха у человека могут начать трястись руки. При испуге может резко измениться их положение в пространстве. На рисунке 6 изображен график, отображающий резкое изменение положения руки в пространстве при испуге. Ключевая точка, изменение положения которой исследуется, находится в центре руки.

Рис. 6. Резкое изменение положения рук в пространстве при испуге

Метод, основанный на анализе движения рук человека, позволяет в целом улучшить точность распознавания эмоций. В большей степени это касается тех эмоций, которые являются наименее выразительными и, следовательно, более труднораспознаваемыми (страх, отвращение и злость).

Для проверки утверждения об увеличении точности распознавания эмоций, при дополнительном использовании сенсора Leap Motion, было реализовано программное приложение. Оно распознает эмоции человека по видеоизображению, которое захватывается с веб-камеры, присоединенной к компьютеру (или входящей в состав компьютера – для ноутбуков), и жестам рук.

Для реализации модуля приложения, отвечающего за распознавание эмоций по видеоизображению, была использована сверточная нейронная сеть, так как именно она наиболее подходит для задач обработки изображений. С целью проверки теории о том, что информация о динамике движения рук человека или жестов положительно влияет на точность (правильность) определения эмоций, данная нейронная сеть была обучена на некотором количестве входных данных – порядка 3–4 тысяч изображений для каждой эмоции. Для проверки обучения модели выборка была разделена на две части: обучающую и тестовую, в пропорции 80:20. Для обучения нейронной сети использовалась обучающая выборка. Проверка качества работы обученной нейронной сети происходила на изображениях из тестовой выборки. Длительность обучения составила сто эпох.

После обучения нейронная сеть тестировалась на распознавании эмоций на изображениях из тестовой выборки. Точность распознавания сильно варьировалась в зависимости от вида эмоций. Выразительные эмоции, такие как удивление и радость, распознавались примерно в 90 % случаев. Маловыразительные эмоции, такие как печаль и отвращение, распознавались примерно в 35 % случаев.

Второй модуль приложения использует сенсор Leap Motion, применяющийся для захвата и анализа динамики движения рук человека. При этом использовалось множество характеристик движения и положения руки: скорость, направление движения, углы поворота относительно центральной оси устройства, координаты ключевых точек руки для определения жестов и пр. SDK, предоставляемый разработчикам, имеет множество реализованных методов для определения характеристик движения. Их достаточно для проведения анализа динамики рук человека. С целью проведения эксперимента были реализованы некоторые виды движения рук, а также жестов: дрожание (при проявлении страха), полусогнутая ладонь (спокойное состояние), резкое изменение положения в пространстве (при испуге), широко раскрытая ладонь (удивление).

ЗАКЛЮЧЕНИЕ

Согласно проведенному исследованию, были сделаны соответствующие выводы.

Под невербальным общением был выявлен такой вид общения, для которого свойственным выступает применение как основной метод передачи информации, организации взаимодействия, создания образа, понятия о партнере, реализации воздействия на другого человека невербального поведения и невербальных коммуникаций. Из этого определения следует не только то, что невербальные средства полифункциональны, но и то, что данный термин объединяет феномены различной природы, интегрированности, сложности.

Комплекс движений, которые формируют структуру невербального поведения, выступает как своего рода целостность, сложно разложимая на отдельные единицы, где доминируют непроизвольные движения над произвольными, неосознаваемые над осознаваемыми, неинтенциональные над интенциональными, неконвенциальные над конвенциальными.

Ядром невербального поведения выступают самые разнообразные выразительные движения, сопряженные с изменяющимися психическими состояниями человека, его отношениями к партнеру, с ситуацией взаимодействия и общения. Для невербального поведения важным является то, что оно частично представлено самой личности. Партнер по взаимодействию, напротив, может наблюдать за ее невербальным выражением благодаря оптической, тактильно-кинестетической, акустической, ольфакторной систем отражения и создавать психологически многозначный образ о ней, реализовать рефлексию, определять смысловые установки партнера.

Согласно специфике невербального поведения, его интерпретация в процессе общения превращается в творческий процесс, который, в свою очередь, ориентирован на реконструкцию не всегда очевидных психологических и социально-психологических значений, смыслов невербального поведения, на установку связей между ним и психологическими, социально-психологическими характеристиками личности и общения.

Результаты первичной диагностики психологических сложностей общения, по методике В.А. Лабунской, указали на то, что в группе студентов наблюдается проблема в умениях и навыках организации взаимодействия, а именно прослеживается желание партнера больше говорить, чем слушать, привычка партнера перебивать разговор, неумение выйти из общения, вовремя его прекратить; неумение аргументировать замечания и предложения, концентрация внимания партнера только на своих мыслях и чувствах.

Системы распознавания эмоций человека выступают как развивающиеся системы, которые применяются во многих областях деятельности человека, таких как научные исследования, маркетинг, психология, медицина, usability-тестирование, оценка эффективности печатной рекламы, дизайн и др. В данной работе были рассмотрены возможные подходы к определению эмоциональности человека: метод, основанный на анализе мимики и движения глаз; метод, основанный на анализе видеоизображения и жестов рук, использует данные о распознанном жесте для увеличения точности прогнозирования эмоций с использованием сенсора Leap Motion. Наибольшую эффективность этот метод показывает при распознавании маловыразительных эмоций, таких как отвращение, печаль или страх. В дальнейшем для улучшения метода определения эмоций по совместному анализу видеоизображений и жестов рук планируется улучшить алгоритмы захвата и анализа движения рук человека. Это существенно понизит требования к обучению нейронных сетей, использующихся при распознавании эмоций на основе мимики человека.