Н.А. Андриянов1, И.Я. Хасаншин2, Д.С. Уткин3, Ахмад Аус4, Н.Н. Ковылов5, А.А. Кочкаров6

1−6 Финансовый университет при Правительстве Российской Федерации (Москва, Россия)

Постановка проблемы. Актуальность применения робототехники в сельском хозяйстве обусловлена снижением использования рабочей силы, высокой трудоемкостью работ, а также необходимостью создания рабочих мест в смежных отраслях по производству техники для сельского хозяйства, повышения содержательности труда и привлечения молодых кадров в отрасль, повышения качества сельскохозяйственной продукции, обеспечения безопасности труда, повышения производительности труда и снижения кадровых рисков. То, с чем легко справляется человек, требует непростых мехатронных робототехнических решений с реализацией машинного зрения и технологий глубокого обучения. Несмотря на большие возможности современных архитектур нейронных сетей применительно к задачам обнаружения и распознавания объектов, выходом таких моделей выступают локальные (пиксельные) координаты объектов на изображении и их прогнозируемые классы. Однако в ряде практических задач необходимо получать более полную информацию по изображению объекта.

Цель. Разработать систему машинного зрения для определения пространственного положения объектов на базе YOLOv3 и стереокамеры.

Результаты. Предложено для определения реального положения объектов относительно источника регистрации изображений использовать стереокамеру Intel RealSense и комплексировать информацию с ее дальностного и яркостного каналов. Для обнаружения объектов использована архитектура YOLOv3. На основе данных о дальности до объекта и его локализации на изображении рассчитаны относительные расстояния по всем координатам.

Практическая значимость. Предложенный подход позволяет получать оценки местоположения с высокой точностью – приблизительная погрешность составляет 7−12 мм в зависимости от дальности.

Андриянов Н.А., Хасаншин И.Я., Уткин Д.С., Ахмад Аус, Ковылов Н.Н., Кочкаров А.А. Система машинного зрения для определения пространственного положения объектов на базе YOLOv3 и стереокамеры // Нейрокомпьютеры: разработка, применение. 2022. T. 24. № 5. С. 74-84. DOI: https://doi.org/ 10.18127/j19998554-202205-08

1. Cho W., Kim S., Na M., Na I. Forecasting of Tomato Yields Using Attention-Based LSTM Network and ARMA Model // Electronics. 2021. 10. 1576. https://doi.org/10.3390/electronics10131576.
2. López-Morales J.A., Martínez J.A., Skarmeta A.F. Digital Transformation of Agriculture through the Use of an In-teroperable Platform // Sensors. 2020. 20. 1153. https://doi.org/10.3390/s20041153.
3. Rolandi S., Brunori G., Bacco M., Scotti I. The Digitalization of Agriculture and Rural Areas: Towards a Taxonomy of the Impacts // Sustainability. 2021. 13. 5172. https://doi.org/10.3390/su13095172.
4. https://www.un.org/en/global-issues/population.
5. Bahn R.A., Yehya A.A.K., Zurayk R. Digitalization for Sustainable Agri-Food Systems: Potential, Status, and Risks for the MENA Region // Sustainability. 2021. 13. 3223. https://doi.org/10.3390/su13063223.
6. Joseph Redmon, Ali Farhadi YOLOv3: An Incremental Improvement. https://arxiv.org/abs/1804.02767.
7. Titov V.S., Spevakov A.G., Primenko D.V. Multispectral optoelectronic device for controlling an autonomous mobile platform // Computer Optics. 2021; 45(3): 399−404. DOI: 10.18287/2412-6179-CO-848.
8. https://www.intelrealsense.com/depth-camera-d415/.
9. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014. 1: 580−587.
10. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Proceedings of 26th Conference on Neural Information Processing Systems (NeurIPS)2012. 1: 1106−1114.
11. Girshick R. Fast R‑CNN. Source: https://arxiv.org/abs/1504.08083.
12. Ren S., He K., Girshick R., Sun J. Faster R‑CNN: Towards Real-Time Object Detection with Region Proposal Networks. https://arxiv.org/abs/1506.01497.
13. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi You Only Look Once: Unified, Real-Time Object Detection. https://arxiv.org/abs/1506.02640.
14. Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg SSD: Single Shot MultiBox Detector. https://arxiv.org/abs/1512.02325.
15. Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár. Focal Loss for Dense Object Detection. https://arxiv.org/abs/1708.02002.
16. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement.   https://arxiv.org/abs/1804.02767.
17. DarkNet-53.   https://github.com/pjreddie/darknet.
18. Andriyanov N., Dementiev V., Kondratiev D. Tracking of Objects in Video Sequences // Smart Innovation. Systems and Technologies. 2021. 238. P. 253−262.
19. Kuznetsova A., Maleva T., Soloviev V. Using YOLOv3 Algorithm with Pre- and Post-Processing for Apple Detection in Fruit-Harvesting Robot // Agronomy. 2020. 10. 1016. https://doi.org/10.3390/agronomy10071016.
20. Yan B., Fan P., Lei X., Liu Z., Yang F. A Real-Time Apple Targets Detection Method for Picking Robot Based on Improved YOLOv5. Remote Sens. 2021. 13. 1619. https://doi.org/10.3390/rs13091619.
21. Huang Z., Zhang P., Liu R., Li D. (2021). Immature Apple Detection Method Based on Improved Yolov3 // ASP Transactions on Internet of Things. 1(1). 9−13. https://doi.org/10.52810/TIOT.2021.100028.
22. Andriyanov N.A., Andriyanov D.A. The using of data augmentation in machine learning in image processing tasks in the face of data scarcity // Journal of Physics: Conference Series. 2020. 1661(1). 012018.
23. Xuan G. et al. Apple Detection in Natural Environment Using Deep Learning Algorithms // IEEE Access. 2020. V. 8. P. 216772−216780. doi: 10.1109/ACCESS.2020.3040423.
24. Kenta Itakura, Yuma Narita, Shuhei Noaki, Fumiki Hoso Automatic pear and apple detection by videos using deep learning and a Kalman filter // OSA Continuum. 2021. 4. 1688−1695.
25. Gómez-Espinosa A., Rodríguez-Suárez J.B., Cuan-Urquizo E., Cabello J.A.E., Swenson R.L. Colored 3D Path Extraction Based on Depth-RGB Sensor for Welding Robot Trajectory Generation // Automation. 2021. 2. 252−265. https://doi.org/10.3390/ automation2040016.
26. Servi M.; Mussi E.; Profili A.; Furferi R.; Volpe Y.; Governi L.; Buonamici F. Metrological Characterization and Comparison of D415, D455, L515 RealSense Devices in the Close Range // Sensors. 2021. 21. 7770. https://doi.org/10.3390/s21227770.
27. Maru M.B.; Lee D.; Tola K.D.; Park S. Comparison of Depth Camera and Terrestrial Laser Scanner in Monitoring Structural Deflections // Sensors. 2021. 21. 201. https://doi.org/10.3390/s21010201.
28. Laganiere R.; Gilbert S.; Roth G. Robust object pose estimation from feature-based stereo // IEEE Trans. Instrum. Meas. 2006. 55. 1270−1280.
29. Куликов А.А. Алгоритм видеомониторинга для модели репринта объектов на изображении // Информационно-измеритель-ные и управляющие системы. 2022. Т. 20. № 4. С. 54−59.