Обнаружение и классификация малоразмерных летающих объектов на изображениях с использованием сверточных нейронных сетей семейства YOLOv5

DOI: 10.21293/1818-0442-2024-27-4-103-110

Скачать текст статьи в формате PDF

Скачать JATS xml

Аннотация: Исследована эффективность двух моделей сверточных нейронных сетей YOLOv5s и YOLOv5x семейства YOLOv5, выбранных в результате анализа основных известных моделей таких сетей для решения задачи обнаружения и классификации малоразмерных летающих объектов на изображениях. Сформированы два набора данных (датасета) с размеченными RGB-изображениями летающих объектов трех классов: птицы, беспилотные летательные аппараты вертолетного и самолетного типов. При этом первый датасет содержит изображения с объектами малых размеров (площадью до 3232 пикселей), а второй датасет, используемый для проведения сравнительных исследований – изображения с объектами разных размеров. Модели сетей обучены с использованием каждого из датасетов, а затем исследованы с применением их тестовых выборок. Выявлено, что обе модели сетей вне зависимости от категории размеров объектов показывают скорость вычисления, значительно превышающую пороговое значение метрики FPS, равное 25. Показано, что в случае летающих объектов малых размеров модель YOLOv5s по точности классификации по метрике AP0.5 для объектов класса «Птица» не достигает требуемого порогового значения 0,9, а модель YOLOv5x превышает его и ее можно использовать в системах компьютерного зрения. Для летающих объектов разных размеров обе модели удовлетворяют сформулированным требованиям по точности классификации объектов на изображениях и по скорости их вычисления и рекомендованы к использованию в системах компьютерного зрения реального времени.

Ключевые слова: система компьютерного зрения, сверточная нейронная сеть YOLOv5, обнаружение и классификация летающих объектов, беспилотные летательные аппараты вертолетного и самолетного типа, птица

Библиография статьи:
Клековкин В. А. Обнаружение и классификация малоразмерных летающих объектов на изображениях с использованием сверточных нейронных сетей семейства YOLOv5 / В. А. Клековкин, Н. Г. Марков, С. Г. Небаба // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2024. – Т. 27, № 4. – С. 103–110. DOI: 10.21293/1818-0442-2024-27-4-103-110

Авторы и правообладатели:

  • Клековкин В. А. , Национальный исследовательский Томский политехнический университет (Томск, Россия)
  • Марков Н. Г. , Национальный исследовательский Томский политехнический университет (Томск, Россия)
  • Небаба С. Г. , Национальный исследовательский Томский политехнический университет (Томск, Россия)

  • 1. Zoev I.V. Intelligent computer vision system for unmanned aerial vehicles for monitoring technological objects of oil and gas industry / I.V. Zoev, N.G. Markov, S.E. Ryzhova // Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering. – 2019. – Vol. 330, No. 11. – P. 34–49. DOI: 10.18799/24131830/2019/11/2346.
  • 2. Review of deep learning: Concepts, CNN architectures, challenges, applications, future directions / L. Alzubaidi, J. Zhang, A.J. Humaidi, A. Al-Dujaili, Y. Duan, O. AlShamma, J. Santamaría, M.A. Fadhel, M. Al-Amidie, L. Farhan // Journal of Вig Data. – 2021. – Vol. 8, No. 53. – P. 1–77. DOI: 10.1186/s40537-021-00444-8.
  • 3. Клековкин В.А. Модель сверточной нейронной сети LeNet5 для обнаружения и классификации объектов воздушного пространства на изображениях / В.А. Клековкин, Н.Г. Марков // Известия Томского политехнического университета. Промышленная кибернетика. – 2023. – Т. 1, № 2. – С. 11–16. DOI: 10.18799/29495407/2023/2/17.
  • 4. Markov N.G. FPGA hardware implementation of the YOLO subclass convolutional neural network model in computer vision systems / N.G. Markov, I.V. Zoev, E.A. Mytsko // Proceedings of the 2022 International Siberian Conference on Control and Communication (SIBCON–2022). – 2022. – P. 1–5.
  • 5. Небаба С.Г. Сверточные нейронные сети семейства YOLO для мобильных систем компьютерного зрения / С.Г. Небаба, Н.Г. Марков // Компьютерные исследования и моделирование. – 2024. – Т. 16, № 3. – С. 615–631. DOI: 10.20537/2076-7633-2024-16-3-615-631.
  • 6. Accurate UAV Small Object Detection Based on HRFPN and EfficentVMamba / S. Wu, X. Lu, C. Guo, H. Guo // Sensors 2024. – 2024. – Vol. 24, No. 5. – P. 4966. DOI: 10.3390/s24154966.
  • 7. Rich feature hierarchies for accurate object detection and semantic segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2014. – P. 580–587. DOI: 10.48550/arXiv.1311.2524.
  • 8. Microsoft COCO: Common objects in context / T.Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, C.L. Zitnick // Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6–12, 2014, Proceedings, Part V 13. – Springer International Publishing, 2014. – P. 740–755. DOI: 10.48550/arXiv.1405.0312.
  • 9. Augmentation for small object detection / М. Kisantal, Z. Wojna, J. Murawski, J. Naruniec, K. Cho // CVPR 2019. – 2019 [Электронный ресурс]. – Режим доступа: https://arxiv.org/abs/1902.07296, свободный (дата обращения: 19.07.2024).
  • 10. Roboflow [Электронный ресурс]. – Режим доступа: https://roboflow.com, свободный (дата обращения: 15.06.2024).
  • 11. Mask R-CNN / K. He, G. Gkioxari, P. Dollár, R. Girshick // Proceedings of the IEEE international conference on computer vision. – 2017. – P. 2980–2988.
  • 12. Bochkovskiy A. YOLOv4: Optimal Speed and Accuracy of Object Detection / A. Bochkovskiy, C.Y. Wang, H.Y.M. Liao // Journal arXiv, preprint arXiv: 2004.10934v1. – 2020. – P. 1–17. DOI: 10.48550/arXiv.2004.10934.
  • 13. Olorunshola O.E. A Comparative Study of YOLOv5 and YOLOv7 Object Detection Algorithms / O.E. Olorunshola, M.E. Irhebhude, A.E. Evwiekpaefe // Journal of Computing and Social Informatics. – 2023. – Vol. 2. – P. 1–12. DOI: 10.33736/jcsi.5070.2023.
  • 14. Wang C.Y. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors / C.Y. Wang, A. Bochkovskiy, H.Y.M. Liao // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2023. – P. 7464–7475.
  • 15. Филичкин C.А. Сравнение эффективности алгоритмов YOLOv5 и YOLOv8 для обнаружения средств индивидуальной защиты человека / C.А. Филичкин, С.В. Вологдин // Интеллектуальные системы в производстве. – 2023. – Т. 21, № 3. – С. 124–131.
  • 16. Vehicle and Plate Detection for Intelligent Transport Systems: Performance Evaluation of Models YOLOv5 and YOLOv8 / M. Afonso, E. Teixeira, M. Cruz, G. Aquino, E. Vilas Boas // International Conference on Computing (ICOCO), IEEE. – 2023. – P. 1–6. DOI: 10.1109/ICOCO59262.2023.10397996.
  • 17. Horvat M. A comparative study of YOLOv5 models performance for image localization and classification / M. Horvat, G. Gledec // Proceedings of the 33rd Central European Conference on Information and Intelligent Systems (CECIIS). – 2022. – P. 349–356.
Адрес редакции

  634050, г. Томск, пр. Ленина, 40, МК, каб. 310/2

  (3822) 701-582, внутр.: 1456

  journal@tusur.ru