А.Б. Абдулаев 1, А.И. Власов2, Т.М. Фатхутдинов3

1–3 МГТУ им. Н.Э. Баумана (Москва, Россия)

Постановка проблемы. Эмоциональные проявления играют важную роль в социальной модели жизнедеятельности индивидуума. Анализ его эмоционального состояния даёт возможность отслеживать изменение поведенческих аспектов, оценивать отношение к происходящим событиям. Эмоции человека влияют на когнитивные процессы и качество принимаемых решений. Современные технологии распознавания эмоций находят применение при решении различных технических и социальных задач, например, они позволяют автоматизировать процесс мониторинга качества обслуживания клиентов call-центров, оценивать реакцию человека-оператора на воздействие внешних факторов и т.п. В связи с тем, что автоматизация процесса определения эмоциональных реакций приобретает всё большее практическое значение, возникает необходимость формирования комплексного подхода к распознаванию эмоционального состояния человека-оператора по результатам многокритериального анализа.

Цель. Сформировать комплексный подход к решению задачи распознавания эмоционального состояния человека-оператора по результатам многокритериального анализа.

Результаты. Проведен анализ наиболее распространенных инструментальных средств распознавания эмоционального состояния человека: Face Reader Noldus, Emo Detect, Face Security, Microsoft Oxford Project Emotion Recognition, eMotion Software. Обобщены методы, используемые для распознавания эмоционального состояния человека по выражению его лица, такие как метод основных компонентов, метод Виолы-Джонса, сравнение шаблонов, нейронная сеть Хопфилда, метод на основе локализации ключевых точек на лице и метод на основе информации о текстуре. Предложено решение для многокритериального распознавания эмоционального состояния человека-оператора на основе использования нейросетевых алгоритмов и глубокого обучения. Показаны перспективы использования различных вариантов реализации эмоциональных анализаторов.

Практическая значимость. Разработанный комплексный подход может быть использован для разработки различных цифровых приложений в системах информационной поддержки, начиная от анализа психофизиологического и эмоционального состояния человека-оператора (пилота, водителя и т.п.), заканчивая мультимедийными мобильными приложениями для анализа эмоционального состояния собеседника. Тренд на удаленную работу и самозанятость делает актуальным разработанный подход в сфере управления человеческими ресурсами компаний и организаций и может быть полезен при консультации психологов и проведении собеседований онлайн.

Абдулаев А.Б., Власов А.И., Фатхутдинов Т.М. Автоматизированная нейросетевая система анализа эмоционального состояния человека-оператора // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 2. С. 41-57. DOI: https://doi.org/10.18127/ j19998554-202302-04

1. Шахнов В.А., Курносенко А.Е. Моделирование цифрового производства электронной аппаратуры в рамках концепции «Индустрия 4.0» // Материалы I Междунар. научно-практич. конф. «Цифровая трансформация промышленности: тенденции, управление, стратегии». 2019. С. 585–594.
2. Бурков В.Н., Новиков Д.А. Теория активных систем (История развития и современное состояние) // Проблемы управления. 2009. № 3.1. С. 28–35.
3. Власов А.И. Современное состояние и тенденции развития теории и практики активного гашения волновых полей // Приборы и системы управления. 1997. № 12. С. 59–70.
4. Труды междунар. научно-практич. конф. «Теория активных систем». В 2-х томах / Под общ. ред. В.Н. Буркова, Д.А. Новикова. Москва: ИПУ РАН. 2001. Т. 1. 182 с.
5. Vlasov A.I. Visual modeling of complex systems, taking into account the role of active components // AIP Conference Proceedings. 2023.
6. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: системный анализ жестовых языков // Международный научно-исследовательский журнал. 2017. № 5-3 (59). С. 14–23.
7. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: картирование элементов жестовых языков // Международный научно-исследовательский журнал. 2017. № 6-3 (60). С. 102–110.
8. Орехов А.Н. Решение нестандартных задач компьютерной системой // Нейрокомпьютеры: разработка, применение. 2021. T. 23. № 3. С. 43−62. DOI: https://doi.org/10.18127/j19998554-202103-05.
9. Власов А.И., Ларионов И.Т., Орехов А.Н., Тетик Л.В. Система автоматического распознавания эмоционального состояния человека // Нейрокомпьютеры: разработка, применение. 2021. Т. 23. № 5. С. 33–50. DOI: https://doi.org/ 10.18127/j19998554-202105-03.
10. Власов А.И., Конькова А.Ф. Медико-диагностические экспертные системы для оценки адекватности адаптивной реакции организма на воздействие экстремальных факторов // Конверсия. 1995. № 9-10. С. 18–21.
11. Экман П. Психология лжи. СПб: Питер. 2000. 272 с.
12. Митина Г.В., Нугаева А.Н., Шурухина Г.А. Психология эмоций и мотивации. Уфа: БГПУ. 2020. 110 с.
13. Плампер Я. История эмоций. М.: Новое литературное обозрение. 2018. 568 с.
14. Леонтьев В.О. Классификация эмоций. Одесса: Инновационно-ипотечный центр. 2002. 84 с.
15. Кривонос Ю.Г. Моделирование и анализ мимических проявлений эмоций // Доповщ НАНУ. 2008. № 12. С. 51–55.
16. Миненко А.С., Ванжа Т.В. Система распознавания эмоционального состояния человека // Проблемы искусственного интеллекта. 2020. №3(18). C. 60–69.
17. Breazieal P., Washeef A. Robots Emotion: A functional perspective // Who Need Emotions: The Brain Meet the Robots. MIT Press. 2003. P.138–169.
18. Эчеагарай-Патрон Б.А., Кобер В.И. Метод распознавания лиц с использованием трехмерных поверхностей // Информационные процессы. 2016. Т. 16. № 3. C. 170–178.
19. Коршунова С.Г., Степанова О.Б., Тетик Л.В. Сферическая модель пространства эмоционального выражения лица, основанная на воспринимаемых различиях // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 42–53.
20. Коршунова С.Г., Степанова О.Б. Языковая организация структуры восприятия тона смешанных эмоций, выраженных лицевыми экспрессиями // Вопросы психологии. 2018. № 6. С. 121–133.
21. Коршунова С.Г., Степанова О.Б. Дифференциация лицевых экспрессий и гласных звуков русского языка в зрительно-слуховом восприятии: эмоциональное пространство лиц // Нейрокомпьютеры: разработка, применение. 2014. № 8. С. 39–45.
22. Кожаринов А.С., Кириченко Ю.А., Афанасьев И.В., Власов А.И., Лабуз Н.П. Методы анализа когнитивных искажений и концепция автоматизированной интеллектуальной системы их детектирования // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 4. С. 38–74. DOI: https://doi.org/10.18127/j19998554-202204-04.
23. Мищенкова Е.С. Сравнительный анализ алгоритмов распознавания лиц // Вестник Волгоградского государственного университета. Серия 9: Исследования молодых ученых. 2015. № 11. С. 75–78.
24. Turk M., Pentlande A. Eigenfaces for recognition // Journal of Cognitive Neuroscience 4. 1998. P. 72–88.
25. Ян С. Автоматическое распознавание эмоций пользователя для организации интеллектуального интерфейса // Молодежный научно-технический вестник 2013. № 9. С. 32.
26. Batlett M.S., Haget J.C., Ekman P., Sejniwskie T.J. Measuring facial expressions by computer image analysis // Cambridge University Press. publc. 2000. P. 254–265.
27. Chandran S., Washeef A., Somar M., Debasis M. Facial Expressions: A Cross Cultural Study // Emotion Recognition: A Pattern Analysis Approach. Wiley. 2016. P. 89.
28. Тухтасинов М.Т., Раджабов С.С. Алгоритмы распознавания лиц на основе локальных направленных шаблонов // Проблемы вычислительной и прикладной математики. 2016. № 5(5). С. 101–106.
29. Mian A.S., Benamoun M., Owens R. Keypoint detection and local feature matching for textured face recognition // Int. Comput. Vis. 2011. V. 80. №. 1. P. 1–13.
30. Заболеева А.В. Развитие системы автоматизированного определения эмоций и возможные сферы применения // Открытое образование. 2012. № 3. С. 60–63.
31. Viola P. Rapid object detection using a boosted cascade of simple features // IEEE Conf. on Computer Vision and Pattern Recognition. Kauai, Hawaii. 2008. V. 1. P. 513–520.
32. Метод Виолы-Джонса (Viola-Jones) как основа для распознавания лиц. [Электронный ресурс]. – Режим доступа: https://ha­brahabr.ru/post/133826/, дата обращения 11.08.2021.
33. Acosta J.C., Ward N.G. Responding to user emotional state by adding emotional coloring to utterances // Proc. Interspeech 2009. P. 1587–1590.
34. Калиновский И. Введение в задачу распознавания эмоций. [Электронный ресурс]. – Режим доступа: https://habr.com/ru/com­pany/speechpro/blog/418151/, дата обращения 02.09.2018.
35. Тимошкин А.Г., Власов А.И. О стратегии и тактике маркетинговой политики многопрофильной компьютерной фирмы // Приборы и системы управления. 1996. № 9. С. 59–61.
36. Власов А.И., Зеновкин Н.В. Методы визуального управления при реализации пользовательских интерфейсов // Программные продукты и системы. 2011. № 1. С. 23–26.
37. Мухамадиева К.Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. № 7. С. 58–63.
38. Саблина В.А., Савин А.В. Поиск антропометрических точек лица с помощью OPENFACE и MEDIAPIPE // Сборник трудов: Современные технологии в науке и образовании. 2021. С. 107–111.
39. Hasani B., Mahoor M.H. Facial Expression Recognition Using Enhanced Deep 3D Convolutional Neural Networks // arXiv:1705. 07871v1. 2017. 05. N. 1705.07871.
40. Li Y. Deep Learning of Human Emotion Recognition in Videos. [Электронный ресурс] – Режим доступа: https://www.diva-portal.org/smash/get/diva2:1174434/FULLTEXT01.pdf, дата обращения 21.07.2021.