300 руб
Журнал «Нейрокомпьютеры: разработка, применение» №5 за 2021 г.
Статья в номере:
Система автоматического распознавания эмоционального состояния человека
Тип статьи: научная статья
DOI: https://doi.org/10.18127/j19998554-202105-03
УДК: 004.8
Ключевые слова: Искусственные нейронные сети компьютерная психика эмоциональный анализатор психофизическое состояние многоуровневая автоматическая категоризация эмоций цифровая обработка изображений цифровая обработка речи
Авторы:

А.И. Власов1, И.Т. Ларионов2, А.Н. Орехов3, Л.В. Тетик4

1,2 МГТУ им. Н.Э. Баумана (Москва, Россия),

3 Фонд содействия созданию и внедрению компьютерной психики (Москва, Россия)

4 МГУ им. М.В. Ломоносова (Москва, Россия)

Аннотация:

Постановка проблемы. Внедрение методов и средств цифровой трансформации промышленности и социальной сферы ставит новые задачи. Одна из таких задач – управление активными системами, при котором недостаточно простой регистрации и идентификации инициаторов действий, а необходима более глубокая оценка их состояния, в том числе психофизического и эмоционального. При этом надо проанализировать методы и средства распознавания эмоционального состояния человека, а также подходы к автоматизированному распознаванию эмоционального состояния человека на основе первичных, вторичных и более сложных признаков. Основное внимание следует уделить комплексному подходу к распознаванию эмоционального состояния человека по результатам анализа визуального и аудиоканалов с использованием алгоритмов нейросетей и компьютерной психики.

Цель. Формализовать методы и разработать средства распознавания эмоционального состояния человека по комплексным аудиовизуальным критериям.

Результаты. Проанализировано программное обеспечение для распознавания эмоционального состояния человека: FaceReaderNoldus, EmoDetect, FaceSecurity, Microsoft Oxford Project Emotion Recognition, eMotion Software, MMER_FEASy. Исследованы методы, используемые для распознавания эмоционального состояния человека по его лицу, такие как метод основных компонентов, метод Виолы-Джонса, сравнение шаблонов, нейронная сеть Хопфилда, метод на основе локализации ключевых точек на лице и метод на основе информации о текстуре. Отдельно проанализированы методы распознавания эмоционального состояния человека по его речи. Предложено решение для многоуровневого распознавания эмоционального состояния человека на основе использования алгоритмов нейросетей и компьютерной психики.

Практическая значимость. Разработанный подход может быть использован для различных цифровых приложений, начиная от анализа психофизиологического и эмоционального состояния оператора (пилота, водителя и т.п.), заканчивая мультимедийными мобильными приложениями для анализа эмоционального состояния собеседника. Тренд на удаленную работу и самозанятость открывает такие области применения данных приложений, как консультации психологов, собеседование онлайн, оптимизации человеческих ресурсов компаний и организаций. Показаны перспективы использования новейших вариантов реализации эмоциональных анализаторов.

Страницы: 33-50
Для цитирования

Власов А.И., Ларионов И.Т., Орехов А.Н., Тетик Л.В. Система автоматического распознавания эмоционального состояния человека // Нейрокомпьютеры: разработка, применение. 2021. T. 23. № 5. С. 33−50. DOI: https://doi.org/10.18127/j19998554202105-03.

Список источников
  1. Шахнов В.А., Курносенко А.Е. Моделирование цифрового производства электронной аппаратуры в рамках концепции «Индустрия 4.0» // Cб. материалов I Междунар. науч.-практ. конф. «Цифровая трансформация промышленности: тенденции, управление, стратегии». 2019. С. 585–594.
  2. Бурков В. Н., Новиков Д. А. Теория активных систем (История развития и современное состояние) // Проблемы управления. 2009. № 3.1. С. 28–35.
  3. Власов А.И., Журавлева Л.В., Казаков В.В. Применение визуальных инструментов BPMN для моделирования технологической подготовки производства (обзор) // Информационные технологии в проектировании и производстве. 2020. № 1 (177). С. 14–26.
  4. Власов А.И. Современное состояние и тенденции развития теории и практики активного гашения волновых полей // Приборы и системы управления. 1997. № 12. С. 59–70.
  5. Бурков В.Н., Новиков Д.А. Теория активных систем // Тр. междунар. науч.-практ. конф. (в 2-х томах) М.: ИПУ РАН. 2001. Т. 1. 182 с.
  6. Митина Г.В., Нугаева А.Н., Шурухина Г.А. Психология эмоций и мотивации: Учеб.-метод. пособие. Уфа: Изд-во БГПУ. 2020. 110 с.
  7. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: системный анализ жестовых языков // Международный научно-исследовательский журнал. 2017. № 5–3 (59). С. 14–23.
  8. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: картирование элементов жестовых языков // Международный научно-исследовательский журнал. 2017. № 6–3 (60). С. 102–110.
  9. Плампер Я. История эмоций. М.: Новое литературное обозрение. 2018. 568 с.
  10. Коршунова С.Г., Степанова О.Б., Тетик Л.В. Сферическая модель пространства эмоционального выражения лица, основанная на воспринимаемых различиях // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 42–53.
  11. Коршунова С.Г., Степанова О.Б. Языковая организация структуры восприятия тона смешанных эмоций, выраженных лицевыми экспрессиями // Вопросы психологии. 2018. № 6. С. 121–133.
  12. Коршунова С.Г., Степанова О.Б. Дифференциация лицевых экспрессий и гласных звуков русского языка в зрительнослуховом восприятии: эмоциональное пространство лиц // Нейрокомпьютеры: разработка, применение. 2014. № 8. С. 39–45.
  13. Рассказова С.И. Метод формантного анализа на основе вейвлет-преобразования в системах распознавания речи // Сб. IX Молодеж. научн.-технич. конф. «Наукоемкие технологии и интеллектуальные системы» 2007. С. 38–43.
  14. Орехов А.Н. Моделирование психических и социально-психологических процессов: номотетический подход: Автореф. дисс. … докт. психол. наук. М.: 2006.
  15. Экман П. Психология лжи. СПб: Питер. 2000. 272с.
  16. Леонтьев В. О. Классификация эмоций. Одесса: Инновационно-ипотечный центр, 2002. 84 с.
  17. Кривонос Ю.Г., Крак Ю.В., Ефимов Г.М. Моделирование и анализ мимических проявлений эмоций. Доповщ НАНУ. 2008. № 12. С. 51–55.
  18. Власов А.И., Конькова А.Ф. Медико-диагностические экспертные системы для оценки адекватности адаптивной реакции организма на воздействие экстремальных факторов // Конверсия. 1995. № 9–10. С. 18–21.
  19. Миненко А.С., Ванжа Т.В. Система распознавания эмоционального состояния человека // Проблемы искусственного интеллекта. 2020. №3 (18). C. 60–69.
  20. Breazieal P., Washeef A Robots Emotion: A functional perspective. Who Need Emotions: The Brain Meet the Robots. MIT Press. 2003. P.138–169. 
  21. Эчеагарай-Патрон Б.А., Кобер В.И. Метод распознавания лиц с использованием трехмерных поверхностей // Информационные процессы. 2016. Т. 16. № 3. C. 170-178.
  22. Ян Си Автоматические распознавание эмоций пользователя для организации интеллектуального интерфейса // Молодежный научно-технический вестник 2013. №2 (4). С. 51
  23. Batlett M.S., Haget J.C, Ekman P., Sejniwskie T.J. Measuring facial expressions by computer image analysis // Cambridge University Press. 2000. P. 254–265.
  24. Системы видеонаблюдения [Электронный ресурс] – URL: http://www.vocord.ru/company/VOCORDsystem (дата обращения: 08.08.2021)
  25. Chandran S., Washeef A., Somar M., Debasis M. Facial Expressions: A Cross Cultural Study // in: «Emotion Recognition: A Pattern Analysis Approach». Wiley. 2016. 89 p.
  26. Face Recognition with Local Binary Patterns [Электронный ресурс] – URL: http://uran.donetsk.ua/~masters/2011/frt/dyrul/  library/article8.pdf (дата обращения: 07.08.2021)
  27. Мищенкова Е.С. Сравнительный анализ алгоритмов распознавания лиц // Вестник Волгоградского государственного университета. Серия 9: Исследования молодых ученых. 2015. № 11. С. 75–78.
  28. Turk M., Pentlande A. Eigenfaces for recognition // Journal of Cognitive Neuroscience. 1998. V. 4. P. 72–88.
  29. Viola P. Rapid object detection using a boosted cascade of simple features // IEEE Conf. on Computer Vision and Pattern Recognition. 2008. V. 1. P. 513–520.
  30. Метод Виолы-Джонса (Viola-Jones) как основа для распознавания лиц. [Электронный ресурс] – URL: https://habrahabr.ru/ post/133826/ (дата обращения: 11.08.2021) 
  31. Тухтасинов М.Т., Раджабов С.С. Алгоритмы распознавания лиц на основе локальных направленных шаблонов // Проблемы вычислительной и прикладной математики. 2016. № 5 (5). С. 101–106.
  32. Заболеева А. В. Развитие системы автоматизированного определения эмоций и возможные сферы применения // Открытое образование. 2012. № 3. С. 60–63.
  33. Орехов А.Н. Решение нестандартных задач компьютерной системой // Нейрокомпьютеры: разработка, применение. 2021. T. 23. № 3. С. 43−62. DOI: https://doi.org/10.18127/j19998554-202103-05
  34. Mian A. S., Benamoun M., Owens R. Keypoint detection and local feature matching for textured face recognition // Int. Comput. Vis. 2011. V. 80. № 1. P. 1–13.
  35. Dlib [Электронный ресурс] URL: http://dlib.net/ (дата обращения: 13.08.2021)
  36. Gabor D. Theory of communication. Part 1: The analysis of information // Journal of the IEE. 2005. V. 93. № 27. P. 430–440.
  37. База биометрических данных и алгоритмы распознавания [Электронный ресурс] – URL: http://biometrics.idealtest.org/ datasets/1/1000/base/3450 (дата обращения: 15.08.2021)
  38. Galactic Messenger Network [Электронный ресурс] – URL: www.galactic.org (дата обращения: 16.08.2021)
  39. Acosta J.C., Ward N.G. Responding to User Emotional State by Adding Emotional Coloring to Utterances
  40. International Speech Communication Association [Электронный ресурс] – URL: www.isca-speech.org (дата обращения 14.08.2021).
Дата поступления: 17.08.2021
Одобрена после рецензирования: 27.08.2021
Принята к публикации: 24.09.2021