А.Д. Воронков1, С.А.К. Диане2

1,2 МИРЭА – Российский технологический университет (Москва, Россия)

1 a.voronkov.rtu@yandex.ru, 2 sekoudiane1990@gmail.com

Постановка проблемы. Повышение степени автономности и обобщающих способностей информационно-управляющих систем манипуляционных роботов, с одной стороны, способствует расширению сфер применения робототехнических комплексов, включающих манипуляционные устройства в свой состав, а с другой – определяет актуальность и практическую возможность разработки таких систем на базе современной аппаратно-программной базы. Задача захвата объектов параллельным захватным устройством хорошо изучена в научной литературе, в то время как захват объектов многопалыми захватными устройствами представляет собой более комплексную задачу, требуя вычисления точек контакта и расчета сил контактных взаимодействий для надежного захвата объектов. Таким образом, проблема поиска захватных конфигураций многопалых захватных устройств является актуальной.

Цель. Разработать и исследовать программно-алгоритмическое обеспечение, реализующее новый подход к формированию выборки захватов для трехпалого захватного устройства SDH Schunk 2.0 на основе нейросетевых механизмов самовнимания и кросс-внимания.

Результаты. Предложен новый подход с использованием нейросетевого механизма внимания для решения задачи захвата априорно неизвестных объектов кончиками пальцев трехпалого захватного устройства. Приведены примеры выполненных захватов при разных стратегиях поиска в среде виртуального моделирования. Показано, что доля успешных захватов объектов из тестовой выборки составила более 90%.

Практическая значимость. Разработанный подход совмещает в себе эмпирические методы с аналитическим анализом полученных захватов, что позволяет ему выдавать кинематически выполнимые захваты, замкнутые по силе и не сталкивающиеся с объектом. Благодаря оптимизации контактных сил метод может быть использован при захвате хрупких предметов.

Воронков А.Д., Диане С.А.К. Планирование захвата неизвестных объектов многопалым захватным устройством на основе нейросетевого механизма внимания // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 5. С. 80-95. DOI: https://doi.org/10.18127/j19998554-202405-08

1. Барсук И.В., Попова Е.С. Роботизированный комплекс загрузки посылок в контейнеры // Электромагнитные волны и электронные системы. 2012. Т. 17. № 2. С. 67–73.
2. Саврасов Г.В., Батанов А.Ф., Башлай А.П., Гусаров С.Г. Опыт разработки медицинских роботов-манипуляторов в МГТУ им. Н.Э. Баумана // Биомедицинская радиоэлектроника. 2014. №10. С. 14–20.
3. Voronkov A.D., Diane S.A.K. Grasping of Unknown Objects with an Autonomous Manipulator: State of the Art, Problems and Prospects // Мechatronics, Automation, Control. 2023. V. 24. № 10. P. 533–541. DOI 10.17587/mau.24.533-541.
4. Xie Zh., Liang X., Roberto C. Learning-based robotic grasping: A review // Frontiers in Robotics and AI. 2023. V. 10. DOI 10.3389/frobt.2023.1038658.
5. Kleeberger K., Bormann R., Kraus W., Huber M. A Survey on Learning-Based Robotic Grasping // Current Robotics Reports. 2020. V. 1. P. 239–249. DOI 10.1007/s43154-020-00021-6.
6. Platt R. Grasp Learning: Models, Methods, and Performance // Annual Review of Control, Robotics, and Autonomous Systems. 2023. V. 6. № 1. P. 363–389. DOI 10.1146/annurev-control-062122-025215.
7. Breyer M., Chung J., Ott L., Siegwart R., Nieto J. Volumetric Grasping Network: Real-time 6 DOF Grasp Detection in Clutter // 4th Conference on Robot Learning (CoRL 2020). 2020. P. 1602–1611.
8. Lundell J., Corona E., Nguyen T., Verdoja F., Weinzaepfel P., Rogez G., Moreno-Noguer F., Kyrki V. Multi-FinGAN: Generative Coarse-To-Fine Sampling of Multi-Finger Grasps // IEEE International Conference on Robotics and Automation (ICRA). 2021. P. 4495–4501.
9. Mayer V., Feng Q., Deng J., Shi Y., Chen Z., Knoll A. FFHNet: Generating Multi-Fingered Robotic Grasps for Unknown Objects in Real-time // International Conference on Robotics and Automation (ICRA). 2022. P. 762–769.
10. Prokudin S., Lassner C., Romero J. Efficient Learning on Point Clouds with Basis Point Sets // Proceedings of the IEEE International Conference on Computer Vision. 2019. P. 4332–4341.
11. Shao L., Ferreira F., Jorda M., Nambiar V., Luo J., Solowjow E., Ojea J.A., Khatib O., Bohg J. UniGrasp: Learning a Unified Model to Grasp with Multifingered Robotic Hands // IEEE Robotics and Automation Letters. 2020. V. 5. № 2. P. 2286–2293. DOI 10.1109/LRA.2020.2969946.
12. Sundermeyer M., Mousavian A, Triebel R., Fox D. Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes // IEEE International Conference on Robotics and Automation (ICRA). 2021. P. 13438–13444.
13. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention is all you need // Advances in Neural Information Processing Systems. 2017. P. 6000–6010.
14. Wang Sh., Zhou Zh., Kan Zh. When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection // IEEE Robotics and Automation Letters. 2022. V. 7. № 3. P. 8170–8177. DOI 10.1109/lra.2022.3187261.
15. Zhao Z., Yu H., Wu H., Zhang X. 6-DoF Robotic Grasping with Transformer. [Электронный ресурс] – Режим доступа: https://ar-xiv.org/pdf/2301.12476, дата обращения 21.05.2024.
16. Lu Y., Fan Y., Deng B., Liu F., Li Y., Wang S. VL-Grasp: a 6-Dof Interactive Grasp Policy for Language-Oriented Objects in Cluttered Indoor Scenes // International Conference on Intelligent Robots and Systems (IROS). 2023. P. 976–983.
17. Lu Y., Deng B., Wang Z., Zhi P., Li Y., Wang S. Hybrid physical metric for 6-dof grasp pose detection // International Conference on Robotics and Automation (ICRA). 2022. P. 8238–8244.
18. Hang K., Stork J., Pokorny F., Kragic D. Combinatorial Optimization for Hierarchical Contact-level Grasping // IEEE International Conference on Robotics and Automation (ICRA). 2014. P. 381–388.
19. Xavier B., Laurent T. The transformer network for the traveling salesman problem. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2103.03012, дата обращения 21.05.2024.
20. Eldar Y., Lindenbaum M., Porat M., Zeevi Y. The Farthest Point Strategy for Progressive Image Sampling // IEEE Transactions on Image Processing. 1997. V. 6. № 9. P. 1305–1315. DOI 10.1109/83.623193.
21. Calli B., Singh A., Walsman A., Srinivasa S., Abbeel P., Dollar A. The YCB Object and Model Set: Towards Common Benchmarks for Manipulation Research // Proceedings of the IEEE International Conference on Advanced Robotics (ICAR). 2015. P. 510–517.
22. Downs L., Francis A., Joenig N., Kinman B., Kichman R., Reymann K., McHugh T., Vanhoucke V. Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items // International Conference on Robotics and Automation (ICRA). 2022. P. 2553–2560.
23. Leon B., Morales A., Joaquin S. From Robot to Human Grasping Simulation. Springer International Publishing Switzerland. 2014. 261 p.
24. Siciliano B., Khatib O. Springer handbook of robotics. Springer. 2016.
25. Patankar A., Fakhari A., Chakraborty N. Hand-Object Contact Force Synthesis for Manipulating Objects by Exploiting Environment // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2020. P. 9182–9189.
26. Мамедов Т.А. Управление системы «кисть-рука» по вектору скоростей // Молодежный научно-технический вестник. 2015. № 10. С. 7.
27. Haviland J., Corke P. Manipulator Differential Kinematics: Part I: Kinematics, Velocity, and Applications // IEEE Robotics & Automation Magazine. 2023. P. 2–12. DOI 10.1109/MRA.2023.3270228.
28. Wampler C.W. Manipulator inverse kinematic solutions based on vector formulations and damped least-squares methods // IEEE Transactions on Systems, Man and Cybernetics. 1986. V. 16. № 1. P. 93–101. DOI 10.1109/TSMC.1986.289285.
29. Vinyals O., Fortunato M., Jaitly N. Pointer Networks // Advances in Neural Information Processing Systems. 2015. P. 2692–2700.
30. Воронков А.Д. Сегментация облака точек с неизвестными объектами с помощью метода VCCS и динамической графовой сверточной нейронной сети // ИТ-Стандарт. 2023. № 4(37). С. 25–35.