О.В. Мельник1, В.А. Саблина2, А.Д. Черненко3

1–3 Рязанский государственный радиотехнический университет имени В.Ф. Уткина (г. Рязань, Россия)

Постановка проблемы. Анализ микровыражений лица на основе обработки видеопоследовательности представляет существенный интерес из-за открывающихся возможностей объективного выявления подавляемых эмоций человека. Одним из этапов в процедуре автоматической оценки эмоций по микровыражениям является нахождение пространственно-временны́х дескрипторов признаков микродвижений лица на изображении.

Цель работы – изучение путей повышения эффективности распознавания микролицевых движений за счет использования различных пространственно-временны́х дескрипторов в составе программного конвейера анализа микровыражений лица.

Результаты. Теоретические и экспериментальные исследования пространственно-временно́го дескриптора признаков FHOOF как нечеткой разновидности дескриптора HOOF, используемой для распознавания микровыражений лица человека, показали перспективность его применения в составе программного конвейера обнаружения микролицевых движений человека. Проведенные эксперименты показали лучшие результаты применения дескриптора признаков FHOOF с точностью обнаружения микролицевых движений до 82 % для стандартной версии по сравнению с исследованным в предыдущих работах дескриптором признаков LBP-TOP с точностью обнаружения микролицевых движений до 73 % для стандартной версии.

Практическая значимость. Полученные результаты могут быть использованы для повышения эффективности распознавания микролицевых движений в системах оценки эмоционального состояния человека на основе анализа видеопоследовательности.

Мельник О.В., Саблина В.А., Черненко А.Д. Применение дескриптора признаков FHOOF для обнаружения микролицевых движений // Биомедицинская радиоэлектроника. 2023. T. 26. № 3. С. 61-70. DOI: https://doi.org/10.18127/j15604136-202303-08

1. Ekman P. Emotion in the Human Face, 2nd Edition. Malor Books. 2013. 456 p.
2. Facial Action Coding System (FACS) – A Visual Guidebook [Электронный ресурс]. – URL: https://imotions.com/blog/facial-action-coding-system/ (дата обращения: 01.05.2023).
3. Burresi G., Victoria A. Sablina V.A. Micro-Facial Movement Detection Using LBP-TOP Descriptors for Landmark Based Regions, 10th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva, Montenegro. 2021. P. 401‑404.
4. Chernenko A., Ashapkina M., Sablina V., Alpatov A. Physical Activity Set Selection for Emotional State Harmonization Based on Facial Micro-Expression Analysis, Proceedings of the 32nd International Conference on Computer Graphics and Vision “GraphiCon”. 2022. P. 682‑691.
5. Саблина В.А. Технология обнаружения микролицевых движений для выявления истинных эмоций человека // Биотехнические, медицинские и экологические системы, измерительные устройства и робототехнические комплексы – Биомедсистемы‑2022: Сб. тр. XXXV Всерос. науч.-техн. конф. студ., мол.  ученых и спец., 7–9 декабря 2022 г. / под общ. ред. В.И. Жулева. Рязань: ИП Коняхин А.В. (Book Jet). 2022. C. 11–17.
6. Chaudhry R., Ravichandran A., Hager G., Vidal R. Histograms of Oriented Optical Flow and Binet-Cauchy Kernels on Nonlinear Dynamical Systems for the Recognition of Human Actions. IEEE Conference on Computer Vision and Pattern Recognition. Miami. FL. 2009. P. 1932–1939.
7. Happy S.L., Routray A., Fuzzy Histogram of Optical Flow Orientations for Micro-Expression Recognition // IEEE Transactions on Affective Computing. 2017. V. 10. № 3. P. 394–406.
8. Саблина В.А., Беляева К.А. Отслеживание точек лазерного подсвета на последовательности изображений калибровочного объекта // Вестник Рязанского государственного радиотехнического университета. 2015. Вып. 54. Ч. 2. С. 39–44.
9. Hast A., Sablina V.A., Sintorn I.‑M., Kylberg G. A Fast Fourier based Feature Descriptor and a Cascade Nearest Neighbour Search with an Efficient Matching Pipeline for Mosaicing of Microscopy Images // International Journal “Pattern Recognition and Image Analysis. 2018. V. 28. № 2. P. 261–272.
10. Саблина В.А., Яковлев Н.В. Обзор пространственно-временных дескрипторов признаков для анализа выражений лица // Биотехнические, медицинские и экологические системы, измерительные устройства и робототехнические комплексы. Биомедсистемы‑2020: Сб. тр. XXXIII Всерос. науч.-техн. конф. студ., мол. ученых и спец., 9‑11 декабря 2020 г. / под общ. ред. В.И. Жулева. Рязань: ИП Коняхин А.В. (Book Jet). 2020. C. 292–295.
11. Никифоров М.Б., Саблина В.А., Черненко А.Д. Применение алгоритмов пространственно-временных дескрипторов признаков для анализа микровыражений лица // 78‑я Научно-техническая конференция Санкт-Петербургского НТО РЭС им. А.С. Попова, посвященная Дню радио. Сб. материалов. СПб.: СПбГЭТУ «ЛЭТИ». 2023. С. 365–370.
12. Davison A.K., Lansley C., Costen N., Tan K., Moi Hoon Yap. SAMM: A Spontaneous Micro-Facial Movement Dataset // IEEE Transactions on Affective Computing. 2018. V. 9. № 1. P. 116–129.
13. Hong X., Xu Y., Zhao G. LBP-TOP: A Tensor Unfolding Revisit, in ACCV 2016, Lecture Notes in Computer Science. Springer, Cham. 2017. V. 10116. P. 513–527.
14. Face landmarks detection task guide [Электронный ресурс]. – URL: https://developers.google.com/mediapipe/solutions/vision/ face_landmarker (дата обращения: 30.04.2023).