О.В. Мельник1, В.А. Саблина2, Н.В. Яковлев3

1–3 ФГБОУ ВО «Рязанский государственный радиотехнический университет им. В.Ф. Уткина» (г. Рязань, Россия)

1omela111@yandex.ru, 2sablina.v.a@evm.rsreu.ru, 3nikgutendorf@gmail.com

Постановка проблемы. В настоящее время развитие исследований в области анализа микровыражений лица человека ограничивается сложностью получения наборов данных для экспериментов. В качестве простого и легко реализуемого подхода к созданию необходимых наборов данных предлагается использование музыкальных произведений в качестве стимулов, вызывающих у человека различные эмоции. Однако в этом случае необходимо четкое описание процессов подготовки участников, выбора музыки, осуществления видеозаписи и автоматизированного обнаружения и распознавания выражений лица с помощью программных средств. Также необходимо отдельно выявлять макро- и микровыражения, а также тонкие выражения. Создаваемые с помощью прослушивания музыки наборы данных можно будет использовать в исследованиях по направлениям распознавания скрытых эмоций и диагностики психоэмоционального состояния человека.

Цель. Разработать подходы к созданию наборов данных выражений лица человека, соответствующих проявлениям различных эмоций под воздействием музыки.

Результаты. В ходе исследования создан небольшой экспериментальный набор данных выражений лица для пяти участников путем прослушивания ими трех музыкальных произведений и одновременного осуществления видеозаписи с помощью высокоскоростной камеры. Построены и проанализированы графики зависимостей вероятностей проявления различных эмоций от времени для участников эксперимента. При этом макровыражения в основном распознаны как нейтральные. Дополнительно обнаружено по четыре микровыражения у двух участников эксперимента, а также одно тонкое выражение. Анализ проведен с помощью различных программных средств. Показана возможность создания наборов данных макровыражений, микровыражений и тонких выражений лица с помощью прослушивания музыки. Даны общие рекомендации для проведения подобных экспериментов.

Практическая значимость. Проведенное исследование позволит создавать наборы данных выражений лица для дальнейшего анализа макровыражений, микровыражений и тонких выражений.

Мельник О.В., Саблина В.А., Яковлев Н.В. Исследование возможностей создания наборов данных выражений лица с помощью прослушивания музыки // Биомедицинская радиоэлектроника. 2025. T. 28. № 4. С. 62-71. DOI: https://doi.org/10.18127/ j15604136-202504-07

1. Ekman P. Emotion in the Human Face, 2nd Edition. Malor Books. 2013. 456 p.
2. Plutchik R. Emotions and Life: Perspectives from Psychology, Biology, and Evolution, 1st Edition, American Psychological Association. 2003. 592 p.
3. Three Types of Facial Expressions of Emotion [Электронный ресурс]. – URL: https://www.humintell.com/macroexpressions-microexpressions-and-subtle-expressions/ (дата обращения: 02.05.2025).
4. Västfjäll D. Emotion Induction through Music: A Review of the Musical Mood Induction Procedure // Musicae Scientiae Journal. 2001–2002. V. 5. Special Issue. P. 173–211.
5. Ribeiro F.S., Santos F.H., Albuquerque P.B., Oliveira-Silva P. Emotional Induction Through Music: Measuring Cardiac and Electrodermal Responses of Emotional States and Their Persistence // Frontiers in Psychology Journal. 2019. V. 10. № 451. 13 p.
6. FFmpeg. A complete, cross-platform solution to record, convert and stream audio and video [Электронный ресурс]. – URL: https://www.ffmpeg.org/ (дата обращения: 02.05.2025).
7. Face++. Emotion Recognition [Электронный ресурс]. – URL: https://www.faceplusplus.com/emotion-recognition/ (дата обращения: 02.05.2025).
8. Avidemux. What is Avidemux? [Электронный ресурс]. – URL: https://avidemux.sourceforge.net/ (дата обращения: 02.05.2025).
9. Мельник О.В., Саблина В.А., Черненко А.Д. Программный комплекс для исследования пространственно-временных дескрипторов признаков // Биомедицинская радиоэлектроника. 2024. Т. 27. № 4. С. 48–55.
10. Burresi G., Sablina V.A. Micro-Facial Movement Detection Using LBP-TOP Descriptors for Landmark Based Regions, 10th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva. Montenegro. 2021. P. 401–404.
11. Davison A.K., Lansley C., Costen N. et al. SAMM: A Spontaneous Micro-Facial Movement Dataset // IEEE Transactions on Affective Computing. 2018. V. 9. № 1. P. 116–129.