Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

OBTAINING AN EMOTIONAL RESPONSE MODEL IN PUPILLOGRAMS

Isayeva O.L. 1 Boronenko M.P. 1 Kiseleva Ye.S. 1 Zelenskiy V.I. 1
1 Yugra state University
The issue of the course of emotions has been studied to some extent. It is known that the size of the pupils depends on the size of the emotions experienced. However, existing mathematical models of pupillograms mainly describe the reaction of the pupil to light. Currently, various mathematical models of pupilograms are used to process the results of pupillometric studies. There are also mathematical models of emotions. At the moment, studies do not combine modeling of pupilograms and modeling of emotions. The study is based on the dependence of the size of the pupils on the emotions experienced. In our work, an attempt was made to determine the coefficient of emotional response from pupilograms. For research, a module for the study of pupillograms was developed. As an example, we give an example of the analysis of pupillograms of people of an older age category. Processing and analysis of the results were carried out in two stages: in ImageJ. and in Origin19. By tracking the attention track, you can determine on which element of the presented test object the reaction occurred. Also, using the track, you can determine that the reaction did not occur on the test object. A mathematical model of the pupilogram plot is obtained, constructed in response to an emotional response. The method of equivalent transformations over analytical expressions of theoretical and experimental functions shows their syntactic similarity, which allows us to interpret the portion of pupillograms as emotionally colored.
test object
emotional reaction
pupillograms
modeling of pupillograms

Вопрос протекания эмоций в некоторой степени изучен. Известно, что размер зрачков зависит от величины испытываемых эмоций. Однако существующие математические модели пупиллограмм в основном описывают реакцию зрачка на свет: линейные, нелинейные, кривые Безье. Поэтому поиск математической модели, описывающей зрачковую реакцию, обусловленную эмоцией, актуален. На данный момент в исследованиях не совмещают моделирование пупиллограмм и моделирование эмоций. В нашей работе предпринята попытка определить коэффициент эмоционального отклика по пупиллограммам.

В настоящее время для обработки результатов пупиллометрического исследования используются различные математические модели: кусочно-линейные модели пупиллограмм, аппроксимационные модели, кривые Безье, нелинейные модели [1], искусственные нейронные сети [2].

Существующие модели эмоций довольно разнообразны: модель OCC [3], модель Plutchik [3], мультимодальная система распознавания эмоций [4], модель для моделирования динамики настроения, основанная на психологических теориях об униполярной клинической депрессии [5], модель, основанная на алгебраическом представлении эмоций [6], математическая модель страха с учетом обобщенной информации о возможной угрозе, хранящейся в памяти, и поступающей информации о реальной (или ожидаемой) угрозе [7], математическая модель эмоционального состояния субъекта – KL-модель [8], математическая модель эмоционального процесса в виде задачи Коши для системы обыкновенных дифференциальных уравнений [9].

Цель исследования: основываясь на экспериментальных данных, получить модель эмоционального отклика в пупиллограммах.

Задачи исследования:

1. Подбор тест-объектов, вызывающих эмоциональный отклик.

2. Сборка и калибровка экспериментальной установки, позволяющей регистрировать изменение размеров зрачка.

3. Подбор математической модели участка пупиллограммы.

4. Сопоставление теоретической функции эмоционального отклика и участка пупиллограмм, построенных на основе экспериментальных данных.

Материалы и методы исследования

В основу исследований положена зависимость размеров зрачков от испытываемых эмоций. Информация, которая является значимой для человека, вызывает непроизвольное внимание в случае появления в поле восприятия индивида. Если предположить, что подобную информацию может содержать тест-объект, то реакция зрачков на такой тест-объект пропорциональна интенсивности испытываемых при этом эмоций. Перед проведением эксперимента был проведен опрос для определения темы, представляющей интерес для испытуемых. По согласованию с участниками были выбраны тестовые объекты, содержащие эмоцию «страх».

Для исследований разработан шлем, с помощью которого создается жесткая координатная связь с видеокамерой. Видеокамеры 1 и 2 крепятся к кронштейну стандартными крепежными болтами. Болты позволяют направить объектив на зрачок глаза, отрегулировав угол наклона. Также возможно регулировать расстояние между объективом и глазом. Первая видеокамера регистрирует изображение монитора, на котором демонстрировались видеофайлы. Вторая видеокамера определяет размер зрачка. Внутреннее время видеокамер синхронизировано до сотых долей секунды. Это позволяет установить причину изменения размеров зрачков. Человек, надев шлем, располагается на расстоянии, при котором изменение освещенности поверхности глаза, обусловленной свечением монитора, становится несущественным. Модуль для исследования пупиллограмм представлен на рис. 1.

В эксперименте принимали участие представители разных полов, всего более 100 человек, в том числе студенты очного и заочного отделения. Все участники эксперимента были добровольцами и были предупреждены о возможном эмоциональном опыте. В основном у всех участников дальнозоркость, у одной женщины близорукость, исправленная очками. Чтобы вызвать эмоции, мы использовали видео о несчастных случаях, которые находились в свободном доступе в Интернете. Видеофайлы не содержали кровавых сцен, неожиданных звуков. Все события, показанные в видеофайлах, были предсказуемы.

isaeva1.tif

Рис. 1. Модуль для исследования пупиллограмм: 1 – камера, регистрирующая изображение монитора, на котором отображались видеофайлы; 2 – камера, регистрирующая размер зрачка; 3 – шлем, создающий жесткую координатную связь с головой

isaeva2.tif

Рис. 2. Этапы оконтуривания зрачка

isaeva3.tif

Рис. 3. Зрачковая безэмоциональная реакция на тест-объект и серый слайд

Обработка и анализ полученных результатов осуществлялись в два этапа. Во-первых, проводились препарирование изображений, обработка и оконтуривание зрачков в ImageJ. Это было необходимо для дальнейшего анализа полученных данных: координатной траектории зрачка и его относительного размера. Визуализация результатов была проведена в Origin19. Программное обеспечение Origin является одним из самых мощных инструментов для графического представления результатов [10]. Процесс обработки изображения зрачка показан на рис. 2.

При расшифровке пупиллограмм нужно помнить, что время «инерции зрения», необходимое для возникновения зрительного ощущения, в среднем составляет 0,03–0,1 с, и ощущение не сразу исчезает после того, как прекратилось раздражение, а держится еще некоторое время. Предварительно данные подвергались очистке от артефактов, обусловленных морганием.

При отсутствии стимула или наблюдении серого слайда глаз находится в расслабленном состоянии, т.е. зрачок нормально увеличен. Именно это мы и наблюдаем на графиках (рис. 3). Так как размеры зрачка не статичны, отмечаются флуктуации размеров вокруг его среднестатистического нормального (обычного) значения. Во время воздействия информационного стимула, в данном случае слайда с изображением высоты, возникает реакция человека в зависимости от того, какие ощущения или эмоции он испытывает. При этом мышцы глаза напрягаются, размеры зрачка уменьшаются в зависимости от угловых размеров рассматриваемых деталей изображения. На пупиллограммах эти участки находятся ниже среднестатистического уровня, их можно считать отрицательными волнами внимания и отнести их к процессу распознавания объектов человеком. Соответственно, после идентификации наблюдаемого объекта человек автоматически оценивает его уровень значимости, в результате чего возникает/не возникает эмоциональный отклик.

Результаты исследования и их обсуждение

Среднее значение уровня интенсивности эмоций считалось нормальной реакцией, поскольку гипотеза заключалась в том, что большинство людей психически сбалансированы и терпимы. Так как размер зрачков зависит от испытываемых эмоций, по пупиллограмме можно оценить их интенсивность. Пупиллограмма – кривая интенсивности эмоционального переживания представлена на рис. 4.

Весь процесс длится в течение времени t, где область 0–5,1 с – это общее время, в течение которого собирается информация о реальной или ожидаемой угрозе, область 5,1–8,7 с – это временной интервал нарастания эмоции (кумулятивный эффект); затем эмоциональный отклик достигает пикового значения выходит на плато (порядка 2 с), а последняя область – это время затухания эмоции, в течение которого зрачок возвращается в нормальное состояние [8].

В одной из существующих моделей [9] интенсивность эмоций J(τ) изменяется пропорционально величине потребности P, дефициту информации (прагматической) обо всех средствах, необходимых для удовлетворения (IP – IS):

Isaev01.wmf

IS0 – начальный уровень информации об имеющихся в распоряжении субъекта ресурсах;

IS – информация о средствах, которыми субъект располагает в данный момент времени (прагматическая информация);

IP – информация обо всех средствах, необходимых для удовлетворения потребности;

k1 – коэффициент стимулирования эмоционального переживания;

k2 – коэффициент актуализации прагматической информации;

эмоциональный скачок C = P(IP – IS0);

величины (силы и качества) актуальной потребности P и возможности ее удовлетворения выражены разностью (IP – IS).

isaeva4.tif

Рис. 4. Пупиллограмма – кривая интенсивности эмоционального переживания

После преобразований теоретическая модель изменения интенсивности эмоций J(t) имеет вид:

Isaev02.wmf (1)

Isaev03.wmf (2)

Модель изменения размеров зрачков, построенная по экспериментальным данным, имеет вид:

Isaev04.wmf (3)

Isaev05.wmf (4)

Очевидна схожесть структуры уравнений теоретической модели J(t) и модели, полученной по экспериментальным данным S(t). Тогда для τ ≥ τ0 сопоставим соответствующие множители.

Isaev06.wmf (5)

Isaev07.wmf (6)

Тогда из уравнения (2):

Isaev08.wmf (7)

поэтому

Isaev09.wmf (8)

Тогда IP = IS0, это означает, что количество начальной прагматической информации велико и эмоциональный процесс находится в стадии насыщения, что мы и наблюдаем на графике (рис. 4). Таким образом, данную теоретическую модель вполне можно применять для расшифровки пупиллограмм.

В экспериментальной модели w – ширина колокола, поэтому при прочих равных условиях процесс целеполагания тем короче, чем ближе величина прагматической информации IS0 к прогностической IP.

Отслеживая трек внимания, можно определить на какой именно элемент предъявляемого тест-объекта произошла реакция. Также с помощью трека можно определить, что реакция произошла не на тест-объект. Эмоции должны быть адекватными, т.е. среднестатистическими. Любое отклонение от нормы требует пристального внимания и изучения. В этом как раз может помочь полученный коэффициент страха. Грамотный подбор тест-объектов позволит расширить возможности айтрекинга, а также усовершенствовать существующие системы безопасности, использующие искусственный интеллект и распознавание эмоций.

Выводы

Получена модель участка пупиллограмм, построенная в ответ на эмоциональный отклик. Методом эквивалентных преобразований над аналитическими выражениями теоретической и экспериментальной функций показано их синтаксическое сходство. Это позволило интерпретировать участок пупиллограмм как эмоционально окрашенный.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.