☷

Алгоритм уточнения совмещения разнородных изображений на основе ключевых точек

DOI: 10.21293/1818-0442-2026-29-2-107-115

Скачать текст статьи в формате PDF

Скачать JATS xml

Аннотация: Актуальность. Рассматривается алгоритм уточнения совмещения разнородных изображений. Совмещение изображений осуществляется на основе нейросетевого отбора кандидатных областей. Совмещение разнородных изображений может служить основой для систем определения положения беспилотной воздушной техники, что является актуальной задачей в условиях отсутствия или вызванного помехами искажения сигнала глобальных систем навигации. Цель исследования. Разработка и экспериментальная оценка алгоритма уточнения совмещения изображений, сочетающего быстрый нейросетевой отбор кандидатных областей с точным позиционированием на основе сопоставления и геометрической верификации ключевых точек. Особое внимание уделяется работе в условиях, когда кадр, полученный с сенсора ЛА, пересекает границы нескольких спутниковых тайлов. Научная новизна заключается в определении положения ЛА при отсутствии сигналов глобальных навигационных систем на основе совмещения разнородных изображений подстилающей поверхности для заданного района полёта. На первом этапе производится отбор кандидатных областей с помощью симакской свёрточной нейронной сети. Сеть анализирует пары, состоящие из текущего бортового изображения и изображений подстилающей поверхности, вычисляя для каждой пары численную оценку визуального сходства, что позволяет сократить зону поиска. На втором этапе выполняется уточнение координат на основе сопоставления ключевых точек. Методы. Рассмотрены методы обнаружения, описания и сопоставления локальных признаков. В результате применения алгоритма уточнения на тестовой выборке средняя ошибка совмещения снизилась с 300 пикселей после нейросетевого отбора до 20 пикселей. Наиболее точные результаты получены для случаев, когда кадр ЛА полностью располагается в пределах одного спутникового тайла. Практическая значимость. Разработанный алгоритм обеспечивает определение местоположения ЛА с точностью 10-20 м при времени обработки ≤ 207 мс на основе разнородных изображений подстилающей поверхности.

Ключевые слова: разнородные изображения, совмещение изображений, сиамская архитектура нейронной сети, ключевые точки, визуальное сходство

Библиография статьи:
Бабаев С. И. Алгоритм уточнения совмещения разнородных изображений на основе ключевых точек / С. И. Бабаев [и др.] // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2026. – Т. 29, № 2. – С. 107–115. DOI: 10.21293/1818-0442-2026-29-2-107-115

Авторы и правообладатели:

  • Бабаев С. И. , Рязанский государственный радиотехнический университет имени В.Ф. Уткина
  • Костров Б. В. , Рязанский государственный радиотехнический университет имени В.Ф. Уткина
  • Муратов Е. Р. , Рязанский государственный радиотехнический университет имени В.Ф. Уткина
  • Тарасов А. С. , Рязанский государственный радиотехнический университет имени В.Ф. Уткина
  • Тарасова В. Ю. , Рязанский государственный радиотехнический университет имени В.Ф. Уткина

  • 1. Новиков А.И. Алгоритмы автоматической идентификации объектов на разнородных изображениях и совмещения изображений / А.И. Новиков, А.И. Ефимов, Д.А. Колчаев // Сборник трудов IV Междунар. конф. и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ–2018). – Самара: Новая техника, 2018. – С. 650–663.
  • 2. Ефимов А.И. Комбинированный алгоритм совмещения облаков точек / А.И. Ефимов, Т.Н. Крючкова, А.И. Ярославцева // GraphiCon – 2023: труды 33-й Между- нар. конф. по компьютерной графике и машинному зрению. – М.: Институт прикладной математики им. М.В. Келдыша РАН, 2023. – С. 539–548.
  • 3. Sablina V.A. Combined approach to object contour superimposition in heterogeneous images / V.A. Sablina, A.I. Efimov, A.I. Novikov // 2017 6th Mediterranean Conference on Embedded Computing (MECO). – Bar, Montenegro: IEEE, 2017. DOI: 10.1109/MECO.2017.7977175.
  • 4. Алгоритм автоматического совмещения сенсорной и синтезируемой видеоинформации для авиационной системы комбинированного видения / М.А. Лебедев, М.А. Бондаренко, Д.В. Комаров, Д.Г. Степаньянц, О.В. Вы- голов, Ю.В. Визильтер, С.Ю. Желтов // Вестник компьютерных и информационных технологий. – 2014. – № 7 (121). – С. 8–13.
  • 5. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис, О.В. Выго- лов // Компьютерная оптика. – 2015. – Т. 39, № 2. – С. 265–274.
  • 6. Визильтер Ю.В. Современные технологии искусственного интеллекта и их применение в авиационных комплексах / Ю.В. Визильтер, Б.В. Вишняков, С.Ю. Желтов // XVI Всерос. мультиконф. по проблемам управления (МКПУ–2023): матер. мультиконф. – Волгоград: Волго- град. гос. техн. уни-т, 2023. – С. 13–16.
  • 7. Кочетуров В.В. Сиамские свёрточные нейронные сети для распознавания лиц / В.В. Кочетуров, О.И. Федяев // Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС-2024): сборник матер. и докл. V Междунар. науч.-практ. конф. – Донецк: Дон. нац. техн. ун-т, 2024. – С. 178–184.
  • 8. Ладанова Е.О. Разработка методики и новой структуры сиамской нейронной сети для анализа геопространственных данных // Научно-технический вестник Поволжья. – 2024. – № 12. – С. 144–147.
  • 9. Li Y. A Survey on Siamese Network: Methodologies, Applications, and Opportunities / Y. Li, C.L.Ph. Chen, T. Zhang // IEEE Transactions on Artificial Intelligence. – 2022. – Vol. 3, No. 6. – P. 994–1014. DOI: 10.1109/TAI.2022.3207112.
  • 10. Broughton G. Robust Image Alignment for Outdoor Teach-and-Repeat Navigation / G. Broughton, P. Linder, T. Rouček, T. Vintr, T. Krajník // Proceedings of the 2021 European Conference on Mobile Robots (ECMR). – Bonn, Germany: IEEE, 2021. – P. 1–6. DOI: 10.1109/ECMR50962. 2021.9568832.
  • 11. Rozsypalek Z. Semi-Supervised Learning for Image Alignment in Teach and Repeat Navigation / Z. Rozsypalek, G. Broughton, P. Linder, T. Roucek, K. Kusumam, T. Krajnik // Proceedings of 37th ACM/SIGAPP Symposium on Applied Computing (SAC '22). – New York, USA: ACM, 2022. DOI: 10.1145/3477314.3507061.
  • 12. Teague S. An Algorithm for Affordable Vision-Based GNSS-Denied Strapdown Celestial Navigation / S. Teague, J. Chahl // Drones. – 2024. – Vol. 8, No. 11. – Art. 652. DOI: 10.3390/drones8110652.
  • 13. Программный комплекс для автоматизации научных исследований в области создания перспективных систем навигации беспилотных летательных аппаратов по данным видеонаблюдения / Б.А. Алпатов, П.В. Бабаян, Ю.С. Коблов, В.С. Муравьев, В.В. Стротов, А.Б. Фельдман // Вестник Рязан. гос. радиотехнического ун-та. – 2012. – № 40. – С. 9–15.
  • 14. Оптико-электронная корреляционно-экстремаль- ная навигационная система малого беспилотного летатель- ного аппарата / А.А. Шейников, В.А. Малкин, Э.А. Смолен- ский, Л.А. Иваницкий // Системный анализ и прикладная С.И. Бабаев и др. Алгоритм уточнения совмещения разнородных изображений на основе ключевых точек Доклады ТУСУР, 2026, том 29, № 2 информатика. – 2024. – № 2. – С. 30–40. DOI: 10.17212/ 2307-5981-2024-2-30-40.
  • 15. TTC-ориентированная визуальная навигация систем БПЛА / Е.А. Конников, Д.А. Сергеев, Г.И. Голиков, Д.Г. Родионов, П.А. Поляков, А.Ф. Тихомиров // Программные системы и вычислительные методы. – 2025. – № 4. – С. 1–26. DOI: 10.7256/2454-0714.2025.4.75830.
  • 16. Обнаружение объектов в аэронавигации с использованием вейвлет-преобразования и сверточных нейронных сетей: первый подход / Х. Фортуна-Сервантес, М. Рамирес-Торрес, Х. Мартинес-Карранса, Х. Мургуия-Ибарра, М. Мехия-Карлос // Труды Института системного программирования РАН. – 2021. – Т. 33, № 2. – С. 149–162. DOI: 10.15514/ISPRAS-2020-33(2)-9.
  • 17. Lowe D.G. Distinctive Image Features from Scale-In- variant Keypoints // International Journal of Computer Vision. – 2004. – Vol. 60. – P. 91–110. DOI: 10.1023/B:VISI. 0000029664.99615.94.
  • 18. Денисов А.А. Анализ методов детектирования, описания и сопоставления ключевых точек изображений / А.А. Денисов, А.И. Новиков // Вестник Рязан. гос. радио- техн. ун-та. – 2024. – № 89. – С. 104–116.
  • 19. Bay H. SURF: Speeded Up Robust Features / H. Bay, T. Tinne, V.G. Luc // Proc. of. Computer Vision – ECCV 2006. – Lecture Notes in Computer Science. – 2006. – Vol. 3951. – Berlin, Heidelberg: Springer, 2006. https://doi.org/10.1007/ 11744023_3.
  • 20. Mikolajczyk K. A performance evaluation of local descriptors / K. Mikolajczyk, C. Schmid // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2005. – P. 1615– 1630. DOI: 10.1109/TPAMI.2005.188.
  • 21. Дышлюк В.О. Исследование показателей качества и быстродействия поиска опорных точек на изображениях методом SURF // Молодой ученый. – 2018. – № 27. – С. 23–26.
  • 22. DeTone D., Malisiewicz T., Rabinovich A. SuperPoint: Self-Supervised Interest Point Detection and Description // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). – Salt Lake City, UT, USA: IEEE. DOI: 10.1109/CVPRW.2018.00060.
  • 23. Костров Б.В. Разработка гибридной архитектуры свёрточной нейронной сети с использованием спектральных преобразований / Б.В. Костров, С.И. Бабаев, А.И. Ефимов, В.Ю. Тарасова // Известия ЮФУ. Технические науки. – 2026. – № 1 (249). – С. 235–249. DOI: 10.18522/2311-3103- 2026-1-235-249.
  • 24. Костров Б.В Подходы к формированию набора данных и его предварительной обработки в задачах обучения свёрточных сиамских нейронных сетей для коррекции положения летательного аппарата по аэрофотосъемке / Б.В. Костров, С.И. Бабаев, А.И. Ефимов, В.Ю. Тарасова // XXI век: итоги прошлого и проблемы настоящего плюс. – 2025. – Т. 14, № 3 (71). – С. 70–77.
  • 25. Li J. Point Cloud Registration Based on One-Point RANSAC and Scale-Annealing Biweight Estimation / J. Li, Q. Hu, M. Ai // IEEE Transactions on Geoscience and Remote Sensing. – 2021. –Vol. 59, No. 11. – P. 9716–9729. DOI: 10.1109/TGRS.2020.3048026.
  • 26. Hu S. CVM-Net: Cross-View Matching Network for Image-Based Ground-to-Aerial Geo-Localization / S. Hu, M. Feng, R.M.H. Nguyen, G.H. Lee // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. Salt Lake City, UT, USA: IEEE, 2018. – P. 7258–7267. DOI: 10.1109/CVPR.2018.00758.
  • 27. Св-во о гос. регистрации программы для ЭВМ № 2025691610 / Костров Б.В., Устюков Д.И., Тарасова В.Ю. // Свёрточная нейронная сеть с гибридными слоями для определения визуального сходства спутниковых снимков. Дата поступления 17 ноября 2025 г. Зарегистрировано в Реестре программ для ЭВМ 17 ноября 2025 г.
  • 28. Никифоров М.Б. Метод определения местоположения съемки фотографии на основе визуального поиска / М.Б. Никифоров, В.Ю. Тарасова // XXI век: итоги прошлого и проблемы настоящего плюс. – 2023. – Т. 12, № 4 (64). – С. 103–110.
Адрес редакции

  634050, г. Томск, пр. Ленина, 40, МК, каб. 310/2

  (3822) 701-582, внутр.: 1456

  journal@tusur.ru