А.В. Ермоленко1, В.М. Полушкин2, М.В. Смирнов3

1,2 ФГБУ «46 ЦНИИ» Минобороны России (Москва, Россия)

3 Финансовый университет при Правительстве РФ (Москва, Россия)

3 academy@fa.ru

Постановка проблемы. Для развития социально-экономических систем необходимо постоянно повышать уровень цифровизации, в том числе с использованием технологий искусственного интеллекта. Одним из перспективных направлений в этой области является внедрение нейросетевых систем, основанных на состязательном и генеративном обучении, в современные интеллектуальные системы распознавания образов. Состязательное машинное обучение в области разработки атак и защиты от них представляет собой актуальную тему исследований для широкого круга ученых и специалистов.

Цель. Рассмотреть практические особенности алгоритмов вредоносных атак на нейросетевые системы распознавания образов.

Результаты. Представлены результаты анализа состязательного и вредоносного машинного обучения применительно к аспектам устойчивости систем компьютерного зрения. Рассмотрены ошибки построения нейросетевых систем распознавания образов, основанных на однотипных фреймворках. Проведен анализ методов искусственного вмешательства в работу нейросетевых классификаторов. Представлен обзор алгоритмов вредоносных атак на различных стадиях функционирования нейросетей. Подчеркнуто, что некоторые виды атак производятся посредством незначительного искажения кадра, практически незаметного для человека, но в то же время кардинально изменяющего результат нейросетевой классификации.

Практическая значимость. Рассмотренные примеры естественных ошибок работы нейросетевых алгоритмов систем технического зрения подчеркивают необходимость более глубокого исследования их побочных эффектов на стадиях опытной разработки изделий, приемки готовых образцов, системной интеграции и функционирования автоматизированных систем охраны и безопасности.

Ермоленко А.В., Полушкин В.М., Смирнов М.В. Ошибки работы нейросетевых систем и вредоносное машинное обучение в задачах технического зрения // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 6. С. 23-30. DOI: https://doi.org/10.18127/j19998554-202406-04

1. Кулик С.Д. Алгоритмы распознавания образов и моделирование автоматизированных фактографических информационно-поисковых систем // Нейрокомпьютеры: разработка, применение. 2007. № 2-3. С. 67–82.
2. Park H., Ryu G., Choi D. Partial Retraining Substitute Model for Query-Limited Black-Box Attacks // Applied Sciences. 2020. V. 10. № 20. P. 7168. DOI 10.3390/app10207168.
3. Tang W., Li H. Robust Airport Surface Object Detection Based on Graph Neural Network // Applied Sciences. 2024. V. 14. № 9. P. 3555. DOI 10.3390/app14093555.
4. Chen X., Si Y., Zhang Z., Yang W., Feng J. Improving Adversarial Robustness of ECG Classification Based on Lipschitz Constraints and Channel Activation Suppression // Sensors. 2024. V. 24. № 9. P. 2954. DOI 10.3390/s24092954.
5. Zhu Y., Li Y., Duan Z. Adaptive Whitening and Feature Gradient Smoothing-Based Anti-Sample Attack Method for Modulated Signals in Frequency-Hopping Communication // Electronics. 2024. V. 13. № 9. P. 1784. DOI 10.3390/electronics13091784.
6. Garaev R., Rasheed B., Khan A.M. Not So Robust after All: Evaluating the Robustness of Deep Neural Networks to Unseen Adversarial Attacks // Algorithms. 2024. V. 17. № 4. P. 162. DOI 10.3390/a17040162.
7. Вредоносное машинное обучение: чем оно опасно и как защититься. [Электронный ресурс] – Режим доступа: https://www.tadviser.ru/index.php/Статья:Вредоносное_машинное_обучение_(Adversarial_Machine_Learning,_AML), дата обращения 04.06.2024.
8. Kurakin A., Goodfellow I.J., Bengio S. Adversarial examples in the physical world. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1607.02533, дата обращения 04.06.2024.
9. Evasion attacks on Machine Learning (or "Adversarial Examples"). [Электронный ресурс] – Режим доступа: https://towardsdata­science.com/evasion-attacks-on-machine-learning-or-adversarial-examples-12f2283e06a1, дата обращения 04.06.2024.
10. Goodfellow I.J., Shelns J., Szegedy C. Explaining and harnessing adversarial examples. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1412.6572, дата обращения 04.06.2024.