В.П. Федосов1, Р.Р. Ибадов2, С.Р. Ибадов3

1-3 Институт радиотехнических систем и управления, ФГАОУ ВО «Южный федеральный университет»
(г. Ростов-на-Дону, Россия)

Постановка проблемы. В последние годы актуальна проблема реконструкции визуальной информации, особенно в задачах машинного зрения и дистанционного зондирования с помощью беспилотных летательных аппаратов (БПЛА). В настоящее время БПЛА активно применяются в самых различных областях народного хозяйства: мониторинг дорожной ситуации, как общегородской, так и на отдаленных участках, контроль за пожарной обстановкой в лесах или за паводковыми водами в регионах, доставка грузов за короткое время и др. Главной проблемой визуализации в перечисленных приложениях являются тени от строений, перекрытие объектов, солнечные блики, отражения от поверхности, которые требуют качественной реконструкции изображений. Для безаварийного вождения БПЛА в городской среде с визуальным сопровождением используются распространенные интеллектуальные методы реконструкции подстилающей поверхности, в которых для правильной реконструкции изображений важно правильно классифицировать наборы данных подстилающей поверхности. Следовательно, необходим метод, позволяющий с высокой точностью восстанавливать карту местности.

Цель. Предложить алгоритм реконструкции подстилающей поверхности на основе геометрической модели с использованием видеодескриптора для классификации движущихся объектов и статичного фона и на видео.

Результаты. Рассмотрены существующие методы и алгоритмы построения дескрипторов для классификации изображений, а также методы реконструкции динамических изображений. При проведении сравнительного анализа установлено, что практически во всех методах восстановления подстилающей поверхности имеются недостатки. Разработан алгоритм построения глобального видеодескриптора для классификации объектов и дальнейшей реконструкции подстилающей поверхности на основе дескриптора. Эффективность работы нового алгоритма подтверждена результатами качественного анализа восстановленной подстилающей поверхности городской среды. Приведены результаты вычисления среднеквадратической погрешности для оценки предложенного алгоритма.

Практическая значимость. Представленный алгоритм позволяет реконструировать карту подстилающей поверхности на основе построения дескриптора классификации объектов.

Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Реконструкция видеопоследовательности на основе геометрической модели с использованием видеодескриптора // Радиотехника. 2023. Т. 87. № 6. С. 151−167. DOI: https://doi.org/10.18127/j00338486-202306-20

1. Zhang H.B., Zhang Y.X., Zhong B., Lei Q., Yang L., Du J.X., Chen D.S. A comprehensive survey of vision-based human action recognition methods // Sensors. 2019. V. 19. № 5. P. 1005.
2. Mishra O., Kavimandan P.S., Tripathi M.M., Kapoor R., Yadav K. Human Action Recognition Using a New Hybrid Descriptor // Advances in VLSI, Communication, and Signal Processing. Springer. Singapore. 2021. P. 527-536.
3. Martin P.E., Benois-Pineau J., Péteri R. Fine-grained action detection and classification in table tennis with siamese spatio-temporal convolutional neural network // IEEE International Conference on Image Processing (ICIP). 2019. P. 3027-3028.
4. Yang Y., Ren H., Li C., Ding C., Yu H. An edge-device based fast fall detection using spatio-temporal optical flow model // 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). 2021. P. 5067-5071.
5. Wang X., Qi C. Saliency-based dense trajectories for action recognition using low-rank matrix decomposition // Journal of Visual Communication and Image Representation. 2016. V. 41. P. 361-374.
6. Xue F., Ji H., Zhang W., Cao Y. Action Recognition Based on Dense Trajectories and Human Detection // IEEE International Conference on Automation, Electronics and Electrical Engineering (AUTEEE). 2018. P. 340-343.
7. Yenduri S., Chalavadi V., Mohan C.K. STIP-GCN: Space-time interest points graph convolutional network for action recognition // IEEE International Joint Conference on Neural Networks (IJCNN). 2022. P. 1-8.
8. Karpagavalli S., Balamurugan V., Kumar S.R. A novel hybrid keypoint detection algorithm for gradual shot boundary detection // IEEE International Conference on Emerging Trends in Information Technology and Engineering (ic-ETITE). 2020. P. 1-5.
9. Liu A.A., Su Y.T., Nie W.Z., Kankanhalli M. Hierarchical clustering multi-task learning for joint human action grouping and recognition // IEEE transactions on pattern analysis and machine intelligence. 2016. V. 39. № 1. P. 102-114.
10. Li W., Nie W., Su Y. Human action recognition based on selected spatio-temporal features via bidirectional LSTM // IEEE Access. 2018. V. 6. P. 44211-44220.
11. Bhorge S.B., Manthalkar R.R. Histogram of directional derivative based spatio-temporal descriptor for human action recognition // IEEE International Conference on Data Management, Analytics and Innovation (ICDMAI). 2017. P. 42-46.
12. Lin B., Fang B., Yang W., Qian J. Human action recognition based on spatio-temporal three-dimensional scattering transform descriptor and an improved VLAD feature encoding algorithm // Neurocomputing. 2019. V. 348. P. 145-157.
13. Mironică I., Duţă I.C., Ionescu B., Sebe N. A modified vector of locally aggregated descriptors approach for fast video classification // Multimedia Tools and Applications. 2016. V. 75. № 15. P. 9045-9072.
14. Idrees H., Zamir A. R., Jiang Y.G., Gorban A., Laptev I., Sukthankar R., Shah M. The THUMOS challenge on action recognition for videos “in the wild” // Computer Vision and Image Understanding. 2017. V. 155. P. 1-23.
15. Huang R., Xu Y., Hong D., Yao W., Ghamisi P., Stilla U. Deep point embedding for urban classification using ALS point clouds: A new perspective from local to global // ISPRS Journal of Photogrammetry and Remote Sensing. 2020. V. 163. P. 62-81.
16. Khan S.H., Hayat M., Porikli F. Scene categorization with spectral features // Proceedings of the IEEE international conference on computer vision. 2017. P. 5638-5648.
17. Burlingham C.S., Heeger D.J. Heading perception depends on time-varying evolution of optic flow // Proceedings of the National Academy of Sciences. 2020. V. 117. № 52. P. 33161-33169.
18. Ibadov R.R., Fedosov V.P., Ibadov S.R. The method of spatial-temporal reconstruction of dynamic images based on a geometric model with contour and texture analysis // IOP Conference Series: Materials Science and Engineering. IOP Publishing. 2021.
    V. 1029. № 1. P. 012093.
19. Ibadov R.R., Fedosov V.P., Ibadov S.R., Kucheryavenko S.V. Recovering lost areas of the underlying image surface using a method based on similar blocks // AIP Conference Proceedings. AIP Publishing LLC. 2019. V. 2188. № 1. P. 050001.
20. Fedosov V.P., Ibadov R.R., Ibadov S.R., Voronin V.V. Restoration of the Blind Zone of the Image of the Underlying Surface for Radar Systems with Doppler Beam Sharpening // IEEE Radiation and Scattering of Electromagnetic Waves (RSEMW). 2019. P. 424-427.
21. Малышев В.А., Машков В.Г. Скорость распространения электромагнитной волны в снежно-ледяной подстилающей поверхности // Радиотехника. 2020. Т. 84. № 3. С. 29-39. DOI: 10.18127/j00338486-202003(05)-05.
22. Борзов А.Б., Лихоеденко К.П., Каракулин Ю.В., Сучков В.Б. Математическое моделирование входных сигналов бортовых систем ближней радиолокации от подстилающих поверхностей на основе их многоточечных моделей // Успехи современной радиоэлектроники. 2017. № 4. С. 48-57.