О.В. Мельник – д.т.н., доцент,  профессор кафедры информационно-измерительной и биомедицинской техники,  Рязанский государственный радиотехнический университет им. акад. В.Ф. Уткина

E-mail: omela111@yandex.ru

В.А. Саблина – к.т.н., доцент,  кафедра электронных вычислительных машин, 

Рязанский государственный радиотехнический университет им. акад. В.Ф. Уткина

E-mail: flyingvictory@mail.ru

А.В. Савин – аспирант,  кафедра электронных вычислительных машин, 

Рязанский государственный радиотехнический университет им. акад. В.Ф. Уткина

E-mail: savin.alex@mail.ru

А.Б. Борщев – магистрант,  кафедра электронных вычислительных машин, 

Рязанский государственный радиотехнический университет им. акад. В.Ф. Уткина

Постановка проблемы. Автоматическое определение психоэмоционального состояния человека на основе анализа видеопоследовательности – актуальная задача в различных областях, связанных с обеспечением безопасности производства, авиа- и транспортного сообщения, предупреждения преступлений и террористических угроз и т.д. Одним из ключевых этапов в процедуре автоматической оценки эмоций по выражению лица является корректное обнаружение лицевых антропометрических точек, что является сложной задачей в условиях индивидуальной вариативности формы и внешнего вида лиц различных людей, варьирующихся расстояний до камеры, позы и положения головы человека, переменной освещенности и возможного перекрытия лица посторонними предметами.

Цель работы – разработка и программная реализация модели многозадачной каскадной сверточной нейронной сети для обнаружения антропометрических точек лица на изображении, обеспечивающей устойчивое распознавание в условиях больших различий в масштабе, позе и окклюзии (сильного или частичного заслонения лица другим объектом).

Результаты. Разработана модель глубокой нейронной сети, основанная на трехэтапном преобразовании информации и позволяющая, в отличие от известных модификаций, совместно решать задачи обнаружения и выравнивания лица. Проведено обучение нейронной сети на наборе обучающих примеров WIDER FACE dataset, предварительно сгруппированном по трем уровням сложности в зависимости от частоты обнаружения рамок лица. Показано, что на больших и средних масштабах достигается высокий уровень обнаружения – более 90 % даже для объектов «среднего» и «тяжелого» классов. Проведена оценка влияния окклюзии и деформации позы на эффективность распознавания. Оценка по эталону лица WIDER показала значительный прирост производительности предлагаемой модели по сравнению с методами обнаружения лиц без углубленного изучения.

Практическая значимость. Предложенная модель может быть использована в качестве составной части системы распознавания эмоций на основе анализа видеопоследовательности.

1. Новикова Е.И., Алешина Л.И., Маринина М.Г., Федосеева С.Ю. Основы нейропсихологии и психофизиологии: Учеб.метод. пособие. Волгоград: Волгоградский государственный социально-педагогический университет, «Перемена», 2019. 87 c. [электронный ресурс]. URL: http://www.iprbookshop.ru/84396.html (дата обращения: 23.04.2020).
2. Экман П. Психология эмоций. СПб.: Питер. 2018. 334 с.
3. Николаева Е.И. Психофизиология. Психологическая физиология с основами физиологической психологии: Учебник. Изд. 4-е. М.–Саратов: ПЕР СЭ, Ай Пи Эр Медиа. 2019. 623 c. [электронный ресурс]. – URL: http://www.iprbookshop.ru/88212.html (дата обращения: 23.04.2020).
4. Шишкоедов П.Н. Общая психология. М.: Эксмо. 2009. 284 с.
5. Ekman P., Rosenberg E.L. What the face reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS), Second Edition. Oxford University Press. USA. 2005. 672 p.
6. Yan W.-J., Wang S.-J., Liu Y.-J., Wu Q., Fu X. For micro-expression recognition: Database and suggestions. Neurocomputing. 2014. V. 136. P. 82–87.
7. Саблина В.А., Сергеева А.Д. Классификация методов обнаружения антропометрических точек лица // Биотехнические, медицинские и экологические системы, измерительные устройства и робототехнические комплексы. Биомедсистемы-2019: Сб. тр. XXXII Всерос. науч.-техн. конф. студ., мол. ученых и спец., 4-6 декабря 2019 г. / Под общ. ред. В.И. Жулева. Рязань: ИП Коняхин А.В. (Book Jet), 2019. C. 203–206.
8. Wu Y., Ji Q. Facial Landmark Detection: A Literature Survey. International Journal of Computer Vision. February 2019. V. 127. Is. 2. P. 115–142.
9. Zhang K., Zhang Z., Li Z., Qiao Y. Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks. IEEE Signal Processing Letters. Oct. 2016. V. 23. № 10. P. 1499–1503.