О.В. Мельник1, В.А. Саблина2, Дж. Буррези3, А.В. Савин4

1,2,4 Рязанский государственный радиотехнический университет им. акад. В.Ф. Уткина (г. Рязань, Россия)

3 Сиенский университет (г. Сиена, Италия)

Постановка проблемы. Автоматизированная оценка психоэмоционального состояния человека и его эмоциональных реакций на различные воздействия с использованием анализа видеоизображения – актуальная задача в различных областях, связанных с обеспечением безопасности производства, авиа- и транспортного сообщения, предупреждения преступлений и террористических угроз с маркетинговыми исследованиями и т.д. Перспективным направлением является анализ микровыражений лица, которые не подчиняются сознательному контролю и отражают объективную эмоциональную реакцию. Одним из ключевых этапов в процедуре автоматической оценки эмоций по микровыражениям лица является корректное обнаружение лицевых антропометрических точек, что является сложной задачей из-за наличия различных шумов на последовательных кадрах.

Цель работы – исследование путей повышения эффективности конвейера анализа микровыражений лица за счет использования процедур предварительной обработки видеоизображения.

Результаты. Показано, что в качестве предварительного этапа конвейера анализа микровыражений целесообразно выполнить сглаживание исходных изображений для получения более стабильных результатов. Определены параметры фильтрации, обеспечивающие увеличение производительности фреймворка MediaPipe для задач анализа микровыражений. Показано, что размытие видеоизображения фильтром Гаусса с размером 15×15 пикселей позволяет снизить влияние шумов и уменьшить некорректные смещения антропометрических точек лица от кадра к кадру.

Практическая значимость. Предложенная процедура предварительной обработки видеоизображения может быть использована для повышения эффективности распознавания микровыражений лица в системах распознавания эмоций на основе анализа видеопоследовательности.

Мельник О.В., Саблина В.А., Буррези Дж., Савин А.В. Выбор фильтра для обработки изображений перед этапом обнаружения антропометрических точек для анализа микровыражений // Биомедицинская радиоэлектроника. 2021. Т. 24. № 4. С. 40–48. DOI: 10.18127/j15604136-202104-06

1. Zongping Deng, Ke Li, Qijun Zhao, and Hu Chen. Face landmark localization using a single deep network. In CCBR 2016. LNCS 9967. 2016. P. 68-76.
2. Sergeeva A.D., Sablina V.A. Eye Landmarks Detection Technology for Facial Micro-Expressions Analysis, 9th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva, Montenegro. 2020. Р. 448–451.
3. Ekman P. Emotion in the Human Face, 2nd Edition. Malor Books. 2013. 456 p.
4. Yue Wu, Qiang Ji. Facial Landmark Detection: A Literature Survey. International Journal of Computer Vision. February 2019.  V. 127. Is. 2. P. 115-142.
5. Мельник О.В., Саблина В.А., Савин А.В., Борщев А.Б. Обнаружение антропометрических точек лица на основе методов глубокого обучения с целью распознавания эмоций // Биомедицинская радиоэлектроника. 2020. Т. 23. № 3. С. 45-52.
6. Lugaresi C., Jiuqiang Tang, Hadon Nash, Mc-Clanahan Ch., Esha Uboweja, Hays M., Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, Grundmann M. Mediapipe: A framework for building perception pipelines. Google Research. 2019. 9 p. [accessed 2021 April 30], https://arxiv.org/abs/1906.08172.
7. Sergeeva A.D., Savin A.V., Sablina V.A., Melnik O.V. Emotion Recognition from Micro-Expressions: Search for the Face and Eyes. 8th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva, Montenegro. 2019. P. 632–635.
8. Kartynnik Yu., Ablavatski A., Grishchenko I., Grundmann M. Real-time Facial Surface Geometry from Monocular Video on Mobile GPUs. CVPR Workshop on Computer Vision for Augmented and Virtual Reality 2019. IEEE, Long Beach, CA, 4 p. [accessed 2021 April 30], https://arxiv.org/abs/1907.06724.
9. Документация по OpenCV. Сглаживание изображений [Электронный ресурс]. – URL: https://docs.opencv.org/master/d4/d13/ tutorial_py_filtering.html (дата обращения: 30.04.2021).
10. Davison A.K., Lansley C., Costen N., Tan K., Moi Hoon Yap SAMM: A Spontaneous Micro-Facial Movement Dataset. In IEEE Transactions on Affective Computing. 2018. V. 9. № 1. P. 116–129.