Управление шестиосевым роботизированным манипулятором с использованием автоматической 3D-локализации целевых объектов на основе стереоскопического зрения

DOI: 10.21293/1818-0442-2026-29-1-135-143

Скачать текст статьи в формате PDF

Скачать JATS xml

Аннотация: Актуальность. Точная трёхмерная локализация объектов является важным требованием для роботизированных систем с визуальным управлением, обеспечивающих автономный захват и манипулирование объектами. Цель исследования. Разработка и экспериментальная оценка интегрированной системы автономного захвата объектов на основе стереоскопического зрения и роботизированного манипулятора. Методы. В работе использованы стереокамера ZED 2, модель обнаружения объектов YOLOv8, шестиосевой роботизированный манипулятор и операционная система ROS 2. Обнаружение объектов и определение двумерных координат выполнялись по RGB-изображениям с последующим объединением данных с картой глубин для формирования трёхмерных координат и их преобразования в базовую систему координат робота. Научная новизна. Предложен интегрированный подход к визуальному управлению роботизированным манипулятором, обеспечивающий субсантиметровую точность 3D-локализации при использовании стереоскопического сенсора потребительского класса. Результаты. Экспериментальная оценка показала среднеквадратическую ошибку локализации 2,95 мм в плоскости XY. В автономных испытаниях по захвату объектов достигнута успешность более 97%. Практическая значимость. Разработанная система может быть использована в задачах промышленной автоматизации, автономного захвата объектов и роботизированных системах визуального управления, требующих высокой точности пространственной локализации.

Ключевые слова: стереозрение, 3d-локализация объектов, визуально управляемая робототехника, точность измерения глубины, ros 2, роботизированное манипулирование

Библиография статьи:
Капустин В. В. Управление шестиосевым роботизированным манипулятором с использованием автоматической 3D-локализации целевых объектов на основе стереоскопического зрения / В. В. Капустин, Саира, А. А. Тисленко // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2026. – Т. 29, № 1. – С. 135–143. DOI: 10.21293/1818-0442-2026-29-1-135-143

Авторы и правообладатели:

  • Капустин В. В. , Томский государственный университет систем управления и радиоэлектроники (Томск, Россия)
  • Саира , Томский государственный университет систем управления и радиоэлектроники (Томск, Россия)
  • Тисленко А. А. , Томский государственный университет систем управления и радиоэлектроники (Томск, Россия)

  • 1. He Y. Advances in sensing and processing methods for three-dimensional robot vision / Y. He, S. Chen // International Journal of Advanced Robotic Systems. – 2018. – Vol. 15, No. 2. – P. 1–19.
  • 2. Intelligent robotic systems in Industry 4.0: A review / M. Soori, R. Dastres, B. Arezoo, F.K. Jough // Journal of Advanced Manufacturing Science and Technology. – 2024. – Vol. 4, No. 3. – P. 1–20.
  • 3. Rayhan A. Artificial intelligence in robotics: From automation to autonomous systems // IEEE Transactions on Robotics. – 2023. – Vol. 39, No. 7. – P. 2241–2253.
  • 4. Panasiuk J. Controlling an Industrial Robot Using Stereo 3D Vision Systems with AI Elements // Sensors. – 2025. – Vol. 25, No. 20. – P. 1–32.
  • 5. Li Z., Li S., Luo X. An overview of calibration technology of industrial robots // IEEE/CAA Journal of Automatica Sinica. – 2021. – Vol. 8, No. 1. – P. 23–36.
  • 6. Error analysis of a stereo-vision-based tube measurement system / H. Huang, J. Liu, S. Liu, P. Jin, T. Wu, T. Zhang // Measurement. – 2020. – Vol. 157. – P. 1–17.
  • 7. Modeling the measurement accuracy for binocular stereo vision system / H. Zhao, W. Ma, P. Ji, G. Zhang, B. Shi, Z. Zhang, W. Yin, S. Yang // Optics Express. – 2025. – Vol. 33, No. 9. – P. 19051–19066.
  • 8. Belhaoua A. Error evaluation in a stereovision-based 3D reconstruction system / A. Belhaoua, S. Kohler, E. Hirsch // EURASIP Journal on Image and Video Processing. – 2010. – Vol. 2010, No. 1. – P. 1–12.
  • 9. Bier A. Error analysis of stereo calibration and reconstruction / A. Bier, L. Luchowski // International Conference on Computer Vision/Computer Graphics Collaboration Techniques and Applications. – Berlin: Springer, 2009. – P. 230–241.
  • 10. Latency analysis of ROS 2 multi-node systems / T. Kronauer, J. Pohlmann, M. Matthé, T. Smejkal, G. Fettweis // arXiv preprint. – 2021. – arXiv:2101.02074.
  • 11. Open Robotics. ROS 2 documentation [Electronic resource]. – URL: https://docs.ros.org/en/rolling/index.html (дата обращения: 03.11.2025).
  • 12. An adaptable robotic system for assembling irregular earphone parts on factory automation / G. Zhang, C. Li, X. Zhang, G. Liu, Y. Liu, J. Zhao, S. Xu // IEEE International Conference on Robotics and Biomimetics (ROBIO). – IEEE, 2019. – P. 52–58.
  • 13. Tassa Y. Synthesis and stabilization of complex behaviors through online trajectory optimization / Y. Tassa, T. Erez, E. Todorov // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). – IEEE, 2012. – P. 4906–4913.
  • 14. Stereolabs. ZED 2 camera documentation [Электронный ресурс]. – URL: https://www.stereolabs.com/docs/ (дата обращения: 15.12.2025).
  • 15. Valverde M. A survey of deep learning-based 3D object detection methods for autonomous driving across different sensor modalities / M.Valverde, A. Moutinho, J.V. Zacchi // Sensors. – 2025. – Vol. 25, No. 17. – P. 1–40.
  • 16. Advances and prospects of vision-based 3D shape measurement methods / G. Zhang, S. Yang, P. Hu, H. Deng // Machines. – 2022. – Vol. 10, No. 2. – P. 1–24.
  • 17. A comprehensive review of vision-based 3D reconstruction methods / L. Zhou, G. Wu, Y. Zuo, X. Chen, H. Hu // Sensors. – 2024. – Vol. 24, No. 7. – P. 1–36.
  • 18. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – Las Vegas, NV, USA: IEEE, 2016. – P. 779–788.
Адрес редакции

  634050, г. Томск, пр. Ленина, 40, МК, каб. 310/2

  (3822) 701-582, внутр.: 1456

  journal@tusur.ru