О.В. Мельник1, М.Б. Никифоров2, В.А. Саблина3, А.Д. Черненко4

1–4 Рязанский государственный радиотехнический университет имени В.Ф. Уткина (г. Рязань, Россия)
1 omela111@yandex.ru, 2 nikiforov.m.b@evm.rsreu.ru, 3 flyingvictory@mail.ru, 4 anuta201294@yandex.ru

Постановка проблемы. Исследование микровыражений лица, не поддающихся сознательному контролю, представляет существенный интерес из-за открывающихся возможностей объективного выявления скрытых эмоций человека. Одним из этапов в процедуре автоматической оценки эмоций по микровыражениям на основе обработки видеопоследовательности является нахождение пространственно-временных дескрипторов признаков микродвижений лица на изображении.

Цель. Изучить пути повышения эффективности распознавания микролицевых движений за счет использования пространственно-временных дескрипторов на основе оптического потока в составе программного конвейера анализа микровыражений лица.

Результаты. Рассмотрена задача обнаружения микролицевых движений с помощью пространственно-временных дескрипторов на основе оптического потока. Представлены обзоры наборов данных, применяемых для анализа микролицевых движений и пространственно-временных дескрипторов признаков. Описана методика эксперимента по распознаванию микролицевых движений. На основе полученных результатов приведен сравнительный анализ пространственно-временных дескрипторов признаков FHOOF и FHOFO.

Практическая значимость. Полученные результаты могут быть использованы для повышения эффективности распознавания микролицевых движений в системах объективной оценки эмоционального состояния человека.

Мельник О.В., Никифоров М.Б., Саблина В.А., Черненко А.Д. Обнаружение микролицевых движений с помощью пространственно-временных дескрипторов на основе оптического потока // Биомедицинская радиоэлектроника. 2024. T. 27. № 2. С. 60−68. DOI: https://doi.org/10.18127/j15604136- 202402-08

1. Chernenko A.D., Ashapkina M.S., Sablina V.A., Alpatov A.V. Physical Activity Set Selection for Emotional State Harmonization Based on Facial Micro-Expression Analysis / Proceedings of the 32nd International Conference on Computer Graphics and Vision “GraphiCon”. 2022. Р. 682–691.
2. Мельник О.В., Саблина В.А., Черненко А.Д. Распознавание микровыражений лица с использованием классификаторов на основе методов машинного обучения // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 1. С. 125–135.
3. Davison A.K., Lansley C., Costen N., Tan K., Yap M.H. SAMM: A Spontaneous Micro-Facial Movement Dataset // in IEEE Transactions on Affective Computing. 2018. V. 9. No. 1. Р. 116–129.
4. Hast A., Sablina V.A., Sintorn I.M., Kylberg G. A Fast Fourier based Feature Descriptor and a Cascade Nearest Neighbour Search with an Efficient Matching Pipeline for Mosaicing of Microscopy Images // International Journal “Pattern Recognition and Image Analysis. Pleiades Publishing. 2018. V. 28. No. 2. Р. 261–272.
5. Ekman P., Friesen W.V., Hager J.C. Facial Action Coding System Investigator’s Guide // Research Nexus. 2002. 197 p.
6. Chaudhry R., Ravichandran A., Hager G., Vidal R. Histograms of Oriented Optical Flow and Binet-Cauchy Kernels on Nonlinear Dynamical Systems for the Recognition of Human Actions // IEEE Conference on Computer Vision and Pattern Recognition. Miami. FL. 2009. Р. 1932–1939.
7. Happy S.L., Routray A. Fuzzy Histogram of Optical Flow Orientations for Micro-Expression Recognition // in IEEE Transactions on Affective Computing. 2017. V. 10. No. 3. Р. 394–406.
8. Burresi G., Sablina V.A. Micro-Facial Movement Detection Using LBP-TOP Descriptors for Landmark Based Regions / 10th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva, Montenegro. 2021. Р. 401–404.