Специфика выявления компрометации обучающих данных систем искусственного интеллекта
DOI: 10.21293/1818-0442-2026-29-1-124-134
☷
- О ТУСУРе
- Абитуриентам
-
Студентам
- Первокурсникам
- Расписание занятий
- Система дистанционного обучения
- Научно-образовательный портал
- Библиотека
- Групповое проектное обучение
- Журнал посещаемости
- Журнал успеваемости
- Клубы по интересам
- Спорт в ТУСУРе
- Профком студентов
- Содействие трудоустройству
- Облачное хранилище ТУСУРа
- Поддержка студенческих семей
- Поддержка участников СВО и их детей
- Многофункциональный центр
- Аспирантам
-
Сотрудникам
- Телефонный справочник
- Расписание занятий
- Система дистанционного обучения
- Научно-образовательный портал
- Библиотека
- Журнал посещаемости
- Журнал успеваемости
- Генератор рабочих программ
- Генератор ОПОП
- Генератор ИПРП
- Показатели эффективности труда ППС
- Спорт в ТУСУРе
- Профком сотрудников
- Облачное хранилище ТУСУРа
- Выпускникам
- Партнёрам
Аннотация: Актуальность. В настоящее время большое распространение получили системы искусственного интеллекта, при этом многие из них уязвимы к атакам отравления обучающих данных: атакуя, злоумышленник целенаправленно вводит вредоносные экземпляры записей в датасет, что приводит к снижению точности модели или появлению скрытых бэкдоров. Цель исследования. Разработка подхода к анализу способов негативного воздействия на обучающие наборы, который позволит не только определять наиболее оптимальные воздействия, но и количественно определять степень их серьёзности (предполагается разработка системы метрик для количественной оценки атак отравления и построение модели оптимальных действий злоумышленника на основе марковских процессов принятия решений). Методы. Применены: двусторонний тест Колмогорова–Смирнова и тест хи-квадрат для сравнения распределений признаков, расстояние Дженсена–Шеннона для оценки дрейфа данных, метод Adversarial Validation, а также алгоритм итерации по значениям для нахождения оптимальной политики в марковском процессе принятия решений. Научная новизна. Предложена формальная модель взаимодействия злоумышленника и аналитика как марковского процесса принятия решений с функцией вознаграждения, одновременно учитывающей снижение точности модели, неразличимость отравленных данных и степень их статистического дрейфа относительно контрольного набора. Результаты. Получены зависимости вероятности успешной атаки от её масштаба для различных состояний доверия аналитика. Выявлены оптимальные и суб-оптимальные последовательности атакующих воздействий. Показано, что предложенные метрики количественно характеризуют как эффективность, так и скрытность атаки. Практическая значимость. Предложенный подход позволяет на этапе разработки систем искусственного интеллекта оценить восприимчивость используемых наборов данных к атакам отравления и обосновать превентивные меры защиты: регулярный контроль JS-дивергенции, проверку распределения меток классов и применение нескольких статистических тестов для обнаружения аномалий.
Ключевые слова: сетевая атака, нейросеть, датасет, матрица признаков, функция активации, язык программирования Python, марковский процесс принятия решений
Библиография статьи:
Ветров И. А. Специфика выявления компрометации обучающих данных систем искусственного интеллекта / И. А. Ветров, А. И. Сацута, В. В. Подтопельный // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2026. – Т. 29, № 1. – С. 124–134. DOI: 10.21293/1818-0442-2026-29-1-124-134
Авторы и правообладатели:
- Ветров И. А. , Балтийский федеральный университет им. И. Канта (Калининград, Россия)
- Сацута А. И. , Балтийский федеральный университет им. И. Канта (Калининград, Россия)
- Подтопельный В. В. , Калининградский государственный технический университет (Калининград, Россия)
- 1. Намиот Д.Е. Схемы атак на модели машинного обучения // International journal of open information technologies. – 2023. – Т. 11, № 5. – С. 68–86.
- 2. Federated Learning Under Attack: exposing vulnerabilities through Data Poisoning Attacks in Computer Networks / E. Nowroozi, I. Haider, R. Taheri, M. Conti // IEEE Transactions on Network and Service Management. – 2025. – Vol. 22, № 1. – P. 822–831.
- 3. Backdoor Attacks Against Dataset Distillation / Y. Liu, Z. Li, M. Backes, Y. Shen // Proceedings of the Network and Distributed System Security Symposium (NDSS). – San Diego, California, USA, 2023. – P. 1–18.
- 4. Jagielski M. Manipulating Machine Learning: Poisoning Attacks and Countermeasures for Regression Learning / M. Jagielski, A. Oprea, B. Biggio // Proceedings of the 2018 IEEE Symposium on Security and Privacy (SP). – San Francisco, CA, USA: IEEE, 2018. – Р. 19–35.
- 5. Adversarial attacks against supervised machine learning based network intrusion detection systems / E. Alshahrani, D. Alghazzawi, R. Alotaibi, O. Rabie // PLoS ONE. – 2022. – Vol. 17 (10). – Art. No. e0275971. [Электронный ресурс]. – URL: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0275971#sec015, свободный (дата обращения: 10.09.2024)
- 6. Awal M.A. Investigating Adversarial Attacks in Software Analytics via Machine Learning Explainability / M.A. Awal, M. Rochan, K.R. Chanchal // Software Quality Journal. – 2025. – Vol. 33, No. 3. – P. 1–31.
- 7. Evasion Attacks against Banking Fraud Detection Systems / M. Carminati, L. Santini, M. Polino, S. Zanero // 23rd International Symposium on Research in Attacks, Intrusions and Defenses: USENIX Association. – San Sebastian, Spain: Curran Associates, Inc., 2020. – P. 285–300.
- 8. Finner H. Two-Sample Kolmogorov–Smirnov-type tests revisited: old and new tests in terms of local levels / H. Finner, V. Gontscharuk // The Annals of Statistics. – 2018. – Vol. 6A, No. 46. – P. 3014–3037.
- 9. Pan J. Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber / J. Pan, V. Pham, M. Dorairaj // Proceedings of the AdKDD '20 Workshop. – ACM, 2020. – С. 1–6.
- 10. Gang L. Automating Construction of Machine Learning Models with Clinical Big Data: Proposal Rationale and Methods / L. Gang, B.L. Stone, M.D. Johnson // JMIR Research Protocols. – 2017. – Vol. 6, No. 8. – Art. No. e175. DOI: 10.2196/resprot.7757.
- 11. Бурков A. Машинное обучение без лишних слов / A. Бурков. – СПб.: Питер, 2020. – 192 с.
- 12. Кохендерфер M. Алгоритмы принятия решений / M. Кохендерфер, Т. Уилер, К. Рэй. – М.: ДМК-Пресс, 2023. – 684 с.
- 13. Wang Y. On the use of adversarial validation for quantifying dissimilarity in geospatial machine learning prediction / Y. Wang, M. Khodadadzadeh, R. Zurita-Milla // GIScience and Remote Sensing. – 2025. – Vol. 62, No. 1. – P. 1–25.
- 14. Common Attack Pattern Enumerations and Classifications [Электронный ресурс]. – URL: https://capec.mitre.org/, свободный (дата обращения: 12.05.2024).
- 15. NSL-KDD dataset – набор данных для оценки систем обнаружения вторжений [Электронный ресурс]. – URL: https://fkie-cad.github.io/COMIDDS/content/datasets/nsl_kdd_dataset/, свободный (дата обращения: 21.10.2025).
-2026-1_%D0%BA%D0%BE%D0%BF%D0%B8%D1%8F.jpg)
Адрес редакции
Подписка на обновления
