В.И. Королёв1, П.А. Кейер2

1,2 ФИЦ «Информатика и управление» РАН (Москва, Россия)
1 Российский государственный университет нефти и газа имени И.М. Губкина (Москва, Россия)
1 vkorolev@ipiran.ru, 2 pkeyer@ipiran.ru

Постановка проблемы. Широкое использование технологий искусственного интеллекта (ТИИ) в различных сферах деятельности не только повышают эффективность решения задач в области автоматизации и информатизации, но и одновременно порождают новые уязвимости среды обработки информации и угрозы информации.  Кроме того, технологии искусственного интеллекта приобретают качество определённой субъектности принятия решений, являясь обученными агентами действий, присущих человеку. Эти факторы влияют на представление о парадигме безопасности автоматизированных информационных систем (АИС), которые становятся носителями технологий искусственного интеллекта и в соответствии с введённой нормативной терминологией именуются как системы искусственного интеллекта (СИИ). Среди решений наиболее широкого практического применения в настоящее время являются решения по внедрению технологий распознавания лиц для идентификации людей. При этом необходимо выделить два базовых этапа жизненного цикла изделий, реализующих технологии распознавания лиц: 1) обучение многослойной нейронной сети, являющейся моделью распознавания лиц, 2) эксплуатация изделия в структуре АИС. Каждый из этих этапов требует отдельного анализа проблемы обеспечения безопасности.

Цель. Исследование проблемы обеспечения безопасности автоматизированных систем (АС), использующих при реализации своего функционала технологии искусственного интеллекта (ТИИ). Предметной областью решения проблемы предложено рассмотрение АС, в которых в качестве элементов искусственного интеллекта используются технологии распознавания лиц. При этом объектом рассмотрения является АС на этапе жизненного цикла, когда ТИИ находятся в штатном состоянии прошедшего обучения средства, включённого в технологические процессы функционирования АС.

Результаты. Сформирован подход к построению типовой структурно-функциональной модели автоматизированной системы, предназначенной для идентификации субъектов путём использования технологии распознавания лиц. Рассмотрены угрозы безопасности АС при использовании изделия распознавания лиц в режиме машинного обучения и режиме эксплуатации, определены системные факторы влияния на безопасность, связанные с конфигурацией объекта защиты и использованием ТИИ. Предложен методический подход к выработке решений при создании системы обеспечения информационной безопасности (СОИБ) в условиях использования ТИИ.

Практическая значимость. Полученные результаты являются методическими рекомендациями при проектировании СОИБ для АС, использующих ТИИ.

Королев В.И., Кейер П.А. Анализ подходов к обеспечению безопасности автоматизированных систем с технологиями искусственного интеллекта распознавания лиц // Системы высокой доступности. 2023. Т. 19. № 4. С. 21−36. DOI: https://doi.org/ 10.18127/j20729472-202304-02

1. Будзко В.И., Беленков В.Г., Королёв В.И., Мельников Д.А. Особенности обеспечения информационной безопасности автоматизированных систем, использующих технологии нейронных сетей // Системы высокой доступности. 2023. Т. 19. № 3.
   С. 5−17. DOI: https:// doi.org/10.18127/j20729472-202303-01
2. Как работает распознавание лиц и можно ли обмануть эту систему. РБК, тренд Индустрия 4.0 https://trends.rbc.ru/ trends/industry/ 6050ac809a794712e5ef39b7
3. ISO/IEC/IEEE 29148:2011. СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ. ПРОЦЕССЫ ЖИЗНЕННОГО ЦИКЛА.
4. Системы распознавания лиц. Сайт «Видиоглаз». Видеонаблюдение и безопасность. https://videoglaz.ru/blog/sistemy-raspoznavaniya-lic-kak-ustroeny-i-gde-primenyayutsya?ysclid=lo47tgbe49261358170
5. ГОСТР 59193- 2020. УПРАВЛЕНИЕ КОНФИГУРАЦИЕЙ. Основные положения.
6. ГОСТ Р ИСО 9001-2015. НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ. СИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА. Требования.
7. Королёв В.И. Процессная модель мониторинга и реагирования на инциденты информационной безопасности. Информационная безопасность: вчера, сегодня, завтра // Сб. статей по материалам III Междунар. научно-практ. конф. Москва, 23 апреля 2020 г. М.: РГГУ. 2020. С. 18–25.
8. Anish Athalye, Nicholas Carlini, and David Wagner. 2018. Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples. arXiv preprint arXiv:1802.00420 (2018).
9. Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. 2017. Towards deep learning mo­dels resistant to adversarial attacks. arXiv preprint arXiv:1706.06083 (2017).
10. Alexey Kurakin, Ian Goodfellow, and Samy Bengio. 2016. Adversarial examples in the physical world. arXiv preprint arXiv:1607.02533 (2016).
11. Nicolas Papernot, Patrick McDaniel, Somesh Jha, Matt Fredrikson, Z Berkay Celik, and Ananthram Swami. 2016. The limitations of deep learning in adversarial settings. In Security and Privacy (EuroS&P) / 2016 IEEE European Symposium on. IEEE, 372–387.
12. Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, and Pascal Frossard. 2016. Deepfool: a simple and accurate method to fool deep neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2574–2582.
13. Nicholas Carlini and David Wagner. 2017. Towards evaluating the robustness of neural networks. In 2017 IEEE Symposium on Security and Privacy (SP). IEEE, 39–57.
14. Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. 2015. Explaining and Harnessing Adversarial Examples. In International Conference on Learning Representations.
15. Yinpeng Dong, Fangzhou Liao, Tianyu Pang, Hang Su, Jun Zhu, Xiaolin Hu, and Jianguo Li. 2018. Boosting adversarial attacks with momentum. In Proceedings of the IEEE conference on computer vision and pattern recognition. 9185–9193.
16. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. 2013. Intriguing properties of neural networks. In International Conference on Learning Representations. 1–10. arXiv:1312.6199 http://arxiv.org/abs/1312.6199.
17. Nicholas Carlini and David Wagner. 2017. Adversarial examples are not easily detected: Bypassing ten detection methods. In Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. ACM, 3–14.
18. Jamie Hayes and George Danezis. 2018. Learning Universal Adversarial Perturbations with Generative Models. In 2018 IEEE Security and Privacy Workshops (SPW). IEEE, 43–49.
19. Jonathan Uesato, Brendan O’Donoghue, Aaron van den Oord, and Pushmeet Kohli. 2018. Adversarial risk and the dangers of evaluating against weak attacks. arXiv preprint arXiv:1802.05666 (2018).
20. Warren He, Bo Li, and Dawn Song. 2018. Decision boundary analysis of adversarial examples. (2018).
21. Pin-Yu Chen, Yash Sharma, Huan Zhang, Jinfeng Yi, and Cho-Jui Hsieh. 2018. Ead: elastic-net attacks to deep neural networks via adversarial examples. In Thirty-second AAAI conference on artificial intelligence.
22. Anish Athalye and Ilya Sutskever. 2017. Synthesizing Robust Adversarial Examples. (jul 2017). arXiv:1707.07397 http://arxiv.org/abs/1707.07397.
23. Wieland Brendel, Jonas Rauber, and Matthias Bethge. 2017. Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models. arXiv preprint arXiv:1712.04248 (2017).
24. Moustafa Alzantot, Yash Sharma, Supriyo Chakraborty, and Mani Srivastava. 2018. Genattack: Practical black-box attacks with gradient-free optimization. arXiv preprint arXiv:1805.11090 (2018).
25. Battista Biggio, Igino Corona, Davide Maiorca, Blaine Nelson, Nedim Šrndić, Pavel Laskov, Giorgio Giacinto, and Fabio Roli. 2013. Evasion attacks against machine learning at test time. In Joint European conference on machine learning and knowledge discovery in databases. Springer, 387–402.
26. Alexey Kurakin, Ian Goodfellow, Samy Bengio, Yinpeng Dong, Fangzhou Liao, Ming Liang, Tianyu Pang, Jun Zhu, Xiaolin Hu, Cihang Xie, et al. 2018. Adversarial attacks and defences competition. In The NIPS’17 Competition: Building Intelligent Systems. Springer, 195–231.
27. Chawin Sitawarin and David Wagner. 2019. On the Robustness of Deep K-Nearest Neighbors. arXiv preprint arXiv:1903.08333 (2019).
28. Будзко В.И., Мельников Д.А., Беленков В.Г. Способы парирования атак на автоматизированные системы, использующих специфические для нейронных сетей уязвимости // Системы высокой доступности. 2023. Т. 19. № 4. С. 5–19. DOI: https://doi.org/10.18127/j20729472-202304-01
29. Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, and Pascal Frossard. 2016. Deepfool: a simple and accurate method to fool deep neural networks // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2574–2582.
30. ГОСТР 59276-2020. Системы искусственного интеллекта. СПОСОБЫ ОБЕСПЕЧЕНИЯ ДОВЕРИЯ. Общие положения.
31. ГОСТР 59898-2021. ОЦЕНКА КАЧЕСТВА СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. Общие положения.