Способ исследования устойчивости систем со встроенным искусственным интеллектом, использующихся на промышленных объектах, к состязательным атакам

DOI: 10.21293/1818-0442-2023-26-4-44-52

Скачать текст статьи в формате PDF

Скачать JATS xml

Аннотация: Представлен способ исследования устойчивости систем со встроенным искусственным интеллектом (ИИ), использующихся на промышленных объектах, к состязательным атакам. Исследовано влияние состязательных атак на показатели работы систем, использующих модели машинного обучения (МО). Представлена разработанная обобщенная схема и определены сценарии реализации атак на системы со встроенным ИИ, использующиеся на промышленных объектах. Сформирован комплексный набор показателей, используемых для исследования устойчивости моделей МО, включающий показатели качества набора тестовых данных (MDQ), показатели качества модели МО (MMQ), показатели устойчивости модели к состязательным атакам (MSQ). Способ основан на применении данного комплекса показателей и включает следующие шаги: формирование набора тестовых данных, содержащего чистые образцы; оценка качества набора тестовых данных с использованием показателей MMQ; определение актуальных методов реализации состязательных атак; генерация состязательных примеров и формирование набора тестовых данных для оценки устойчивости модели, содержащего сгенерированные состязательные образцы; оценка качества сформированного набора тестовых данных с использованием показателей MDQ; оценка качества модели МО с использованием показателей MMQ; оценка устойчивости модели с использованием показателей MSQ.

Ключевые слова: кибербезопасность, методы искусственного интеллекта, интеллектуальные производственные системы, состязательные атаки

Сведения о финансировании: Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, № 2019-0898.

Библиография статьи:
Воробьева А. А. Способ исследования устойчивости систем со встроенным искусственным интеллектом, использующихся на промышленных объектах, к состязательным атакам / А. А. Воробьева // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2023. – Т. 26, № 4. – С. 44–52. DOI: 10.21293/1818-0442-2023-26-4-44-52

Авторы и правообладатели:

  • Воробьева А. А. , Национальный-Исследовательский-Университет-Итмо-(санкт-Петербург,-Россия)

  • 1. Обзор современного рынка распределенных систем управления в нефтяной и газовой промышленности / А.В. Окружнов, Р.Р. Хайбунасов, И.Р. Хасанов, М.М. Андреева // Вестник Казанского технологического ун-та. – 2015. – Т. 18, № 2. – С. 383–389.
  • 2. Коекин В.А. Алгоритмы управления на территориально распределенных промышленных и бытовых объектах // Электротехнические и информационные комплексы и системы. – 2008. – № 51. – С. 59–65.
  • 3. Воробьева А.А. Методы интеллектуального анализа данных и обработки естественного языка в управлении роботизированными производственными системами / А.А. Воробьева, М.Ю. Федосенко // Доклады ТУСУР. – 2023. – Т. 26, № 3. – С. 65–71.
  • 4. Smart Factory Monitoring [Электронный ресурс]. – Режим доступа: https://www.procemex.com/smart-factory/, свободный (дата обращения: 05.12.2023).
  • 5. AIoT для умных фабрик [Электронный ресурс]. – Режим доступа: https://www.cta.ru/articles/obzory/vstraivaemye-sistemy/165894/, свободный (дата обращения: 05.12.2023).
  • 6. Adversarial/Robust AI Report development methodology [Электронный ресурс]. – Режим доступа: https://ec.europa.eu/research/participants/documents/downloadPublic?documentIds=080166e5e1fdef06&appId=PPGMS, свободный (дата обращения: 05.12.2023).
  • 7. A survey on adversarial attack in the age of artificial intelligence / Z. Kong, J. Xue, Y. Wang, L. Huang, Z. Niu, F. Li // Wireless Communications and Mobile Computing. – 2021. – Vol. 2021. – P. 1–22.
  • 8. A review on ai for smart manufacturing: Deep learning challenges and solutions / J. Xu, M. Kovatsch, D. Mattern, F. Mazza, M. Harasic, A. Paschke, S. Lucia // Applied Sciences. – 2022. – Vol. 12, No. 16. – P. 8239.
  • 9. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations [Электронный ресурс]. – Режим доступа: https://csrc.nist.gov/pubs/ai/100/2/e2023/ipd, свободный (дата обращения: 05.12.2023).
  • 10. Goodfellow I.J. Explaining and harnessing adversarial examples / I.J. Goodfellow, J. Shlens, C. Szegedy [Электронный ресурс]. – Режим доступа: https://arxiv.org/abs/1412.6572, свободный (дата обращения: 05.12.2023).
  • 11. Tuptuk N. Security of smart manufacturing systems / N. Tuptuk, S. Hailes // Journal of manufacturing systems. – 2018. – Vol. 47. – P. 93–106.
  • 12. Adversarial Mask: Real-World Universal Adversarial Attack on Face Recognition Models / A. Zolfi, S. Avidan, Y. Elovici, A. Shabtai // Joint European Conference on Machine Learning and Knowledge Discovery in Databases. – 2022. – P. 304–320.
  • 13. Adversarial patch attack on multi-scale object detection for UAV remote sensing images / Y. Zhang, J. Qi, K. Bin, H. Wen, X. Tong // Remote Sensing. – 2022. – Vol. 14, No. 21. – P. 5298.
  • 14. {CAPatch}: Physical Adversarial Patch against Image Captioning Systems / S. Zhang, Y. Cheng, W. Zhu, X. Ji, W. Xu // 32nd USENIX Security Symposium (USENIX Security 23). – 2023. – P. 679–696.
  • 15. Physical Adversarial Attack on a Robotic Arm / Y. Jia, C.M. Poskitt, J. Sun, S. Chattopadhyay // IEEE Robotics and Automation Letters. – 2022. – Vol. 7, No. 4. – P. 9334–9341.
  • 16. Kong X. Adversarial attacks on neural-network-based soft sensors: Directly attack output / X. Kong, Z. Ge // IEEE Transactions on Industrial Informatics. – 2021. – Vol. 18, No. 4. – P. 2443–2451.
  • 17. Дорф Р. Современные системы управления / Р. Дорф, Р. Бишоп. – М.: Лаборатория базовых знаний, 2002. – 832 с.
  • 18. Deepgauge: Multi-granularity testing criteria for deep learning systems / L. Ma, F. Juefei-Xu, F. Zhang, J. Sun, M. Xue, B. Li, C. Chen // Proceedings of the 33rd ACM/IEEE international conference on automated software engineering. – 2018. – P. 120–131.
  • 19. A comprehensive evaluation framework for deep model robustness / J. Guo, W. Bao, J. Wang, Y. Ma, X. Gao, G. Xiao, A. Liu // Pattern Recognition. – 2023. – Vol. 137. – P. 109308.
  • 20. Quantifying Robustness to Adversarial Word Substitutions / Y. Yang, P. Huang, J. Cao, F. Ma, J. Zhang, J. Li // Joint European Conference on Machine Learning and Knowledge Discovery in Databases. – 2023. – P. 95–112.
  • 21. Towards imperceptible and robust adversarial example attacks against neural networks / B. Luo, Y. Liu, L. Wei, Q. Xu // Proceedings of the AAAI Conference on Artificial Intelligence. – 2018. – Vol. 32, No. 1. – P. 1–8.
  • 22. Hendrycks D. Benchmarking neural network robustness to common corruptions and perturbations / D. Hendrycks, T. Dietterich [Электронный ресурс]. – Режим доступа: https://arxiv.org/abs/1903.12261, свободный (дата обращения: 05.12.2023).
Адрес редакции

  634050, г. Томск, пр. Ленина, 40, МК, каб. 310/2

  (3822) 701-582, внутр.: 1456

  journal@tusur.ru