В.В. Хрящев1, А.Л. Приоров2, Д.В. Матвеев3, Ю.А. Лукашевич4

1–4 Ярославский государственный университет им. П.Г. Демидова (г. Ярославль, Россия)

1 v.khryashchev@uniyar.ac.ru, 2 andcat@yandex.ru, 3 diman@uniyar.ac.ru, 4 lukashevich.yuriy@gmail.com

Постановка проблемы. В области компьютерного зрения одним из ключевых направлений исследований являются алгоритмы обнаружения и отслеживания объектов на видеоданных. Основным отличием алгоритма отслеживания (сопровождения, трекинга) от модели обнаружения объектов является тот факт, что после обработки первого видеокадра, на котором обнаружены целевые объекты, на последующих видеокадрах алгоритму ничего не требуется знать о целях, кроме их местоположений, полученных из предыдущего кадра. Задача детектирования и отслеживания людей на видеоданных актуальна во многих сферах компьютерного зрения, в частности, в области спорта для сбора статистических данных об игроках.

Цель. Разработать и обучить сверточную нейронную сеть с помощью алгоритма глубокого машинного обучения JDE, предназначенного для решения задачи обнаружения и отслеживания людей на видеоданных в режиме реального времени.

Результаты. Представлены результаты исследования алгоритма JDE для обнаружения и отслеживания целевых объектов на видеоданных (спортсменов на видеозаписях с соревнований). Обучена разработанная сверточная нейронная сеть и протестирована на суперкомпьютере NVIDIA DGX-1. Проанализировано качество работы модели с использованием показателя MOTA, который напрямую соотносится с тем, как человеческий глаз отслеживает целевые объекты в видеопотоке. Оценено качество работы алгоритма JDE на видеороликах с отрывками игр баскетбольных команд, проводимых в спортивном зале
ЯрГУ им. П.Г. Демидова.

Практическая значимость. Результаты исследований можно использовать в различных видах спорта для сбора статистики об игроках с целью повышения эффективности их выступлений.

Хрящев В.В., Приоров А.Л., Матвеев Д.В., Лукашевич Ю.А. Использование методов глубокого машинного обучения для обнаружения и сопровождения спортсменов в потоке видеоданных // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 6.
С. 37-46. DOI: https://doi.org/10.18127/j1999 8554-202306-04

1. Будаев Е.С., Михайлова С.С., Евдокимова И.С., Халмакшинов Е.А. Разработка нейросетевой модели обнаружения объектов в видеопотоке // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 4. С. 54–64. DOI 10.18127/j19998554-202304-07.
2. Минаев Е.Ю., Кутикова В.В., Никоноров А.В. Трекинг объектов в видеопотоке на основе сверточных нейронных сетей и фрактального анализа // Сб. трудов IV Междунар. конф. и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2018). Самара: Новая техника. 2018. С. 2792–2798.
3. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс. 2017. 652 с.
4. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. СПб: Питер. 2018. 480 с.
5. Yu F., Li W., Li Q., Liu Y., Shi X., Yan J. Poi: Multiple object tracking with high performance detection and appearance feature // Lecture Notes in Computer Science. 2016. V. 9914. P. 36–42. DOI 10.1007/978-3-319-48881-3_3.
6. Комиссаренко Н. 3 метода детектирования объектов c Deep Learning: R-CNN, Fast R-CNN и Faster R-CNN. [Электронный ресурс] – Режим доступа: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33, дата обращения 05.07.2023.
7. Wang Z., Zheng L., Liu Y., Wang S. Towards Real-Time Multi-Object Tracking // Lecture Notes in Computer Science. 2020. V. 12356. P. 107–122. DOI 10.1007/978-3-030-58621-8_7.
8. Dollar P., Wojek C., Schiele B., Perona P. Pedestrian detection: A benchmark // IEEE Conference on Computer Vision and Pattern Recognition. 2009. P. 304–311.
9. Xiao T., Li S., Wang B., Lin L., Wang X. Joint Detection and Identification Feature Learning for Person Search // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. P. 3376–3385. DOI 10.1109/CVPR.2017.360.
10. Zheng L., Zhang H., Sun S., Chandraker M., Yang Y., Tian Q. Person Re-identification in the Wild // IEEE Conference on Computer Vision and Pattern Recognition. 2017. P. 3346–3355. DOI 10.1109/CVPR.2017.357.
11. Milan A., Leal-Taixe L., Reid I., Roth S., Schindler K. MOT16: A Benchmark for Multi-Object Tracking. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1603.00831.pdf, дата обращения 05.07.2023.
12. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/ 1804.02767v1.pdf, дата обращения 05.07.2023.
13. Lin T.-Y., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature Pyramid Networks for Object Detection. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1612.03144.pdf, дата обращения 05.07.2023.
14. Пойнтер Я. Программируем с PyTorch. СПб: Питер. 2020. 256 с.
15. Власов А.И., Завьялов Н.В., Селиванов К.В., Скальченков И.И. Применение нейронных сетей в обнаружении дефектов печатных плат // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 6. С. 5–19. DOI 10.18127/j19998554-202206-01.
16. Макмахан Б. Знакомство с PyTorch: глубокое обучение при обработке естественного языка. СПб: Питер. 2020. 250 с.
17. Сандерс Дж., Кэндрот Э. Технология CUDA в примерах. Введение в программирование графических процессоров. М.: ДМК Пресс. 2013. 232 с.
18. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера. 2005. 621 с.
19. Щелкунов А.Е., Ковалев В.В., Морев К.И., Сидько И.В. Метрики оценки алгоритмов автоматического сопровождения // Таганрог: Известия ЮФУ. Технические науки. 2020. № 1. С. 233–245.