М.М. Греков1, А.А. Сычугов2, Е.И. Минаков3, С.Ф. Боев4

1,2,3 ФГБОУ ВО «Тульский государственный университет» (г. Тула, Россия)

4 ПАО АФК «Система» (Москва, Россия)

1 grekov.web@yandex.ru, 2 xru2003@list.ru, 3 eminakov@bk.ru, 4 sfboev@gmail.com

Постановка проблемы. Автоматизированное тестирование на проникновение информационных систем и сетевых инфраструктур требует формирования последовательности атакующих действий, учитывающей текущее состояние сетевой среды, техническую применимость операций и логику этапов проникновения. Политики выбора действий, обученные на одной конфигурации, могут зависеть от частного маршрута к цели, а прямое поведенческое клонирование воспроизводит выбор эксперта, но не формирует отдельного критерия оценки последствий действия.

Цель. Разработать метод формирования стратегий атак, обеспечивающий повышение переносимости стратегий атак между различными конфигурациями сетевой среды и их структурной упорядоченности в соответствии с этапами процесса проникновения при сохранении результативности и реализуемости действий.

Результаты. Предложен метод, объединяющий динамическую маску допустимых действий, фазовую модель атаки, априорную экспертную политику, восстановление функции оценки переходов по экспертным траекториям и обучение на семействе сетевых конфигураций. Проведено экспериментальное исследование, результаты которого подтвердили вклад предметных компонентов разработанного метода: 1) маска позволила снизить долю недопустимых операций с единицы до нуля; 2) включение фазовой модели дало увеличить долю обоснованных переходов между этапами с 0,768 до 1,0 при близкой результативности; 3) обучение на изменяемых конфигурациях обеспечило долю успешных эпизодов на контрольном наборе с 0,872 до 0,960; 4) восстановленная оценка переходов позволила увеличить долю случаев, в которых экспертный переход занимал первую позицию, с 0,552 до 0,779, а среднюю обратную позицию − с 0,752 до 0,887.

Практическая значимость. Представленный метод может быть использован в автоматизированных системах тестирования на проникновение для исключения невыполнимых операций, формирования последовательностей действий по этапам атаки и проверки переноса стратегии на изменённые конфигурации сети.

Греков М.М., Сычугов А.А., Минаков Е.И., Боев С.Ф. Метод формирования стратегий атак для автоматизированного тестирования на проникновение на основе восстановленной оценки переходов // Радиотехника. 2026. Т. 90. № 9. С. 150−158. DOI: https://doi.org/10.18127/j00338486-202609-16

1. Мясников А.В. Применение технологий машинного обучения для оптимизации процесса тестирования на проникновение // Проблемы информационной безопасности. Компьютерные системы. 2019. № 2. С. 9–15.
2. Мясников А.В. Применение машинного обучения с подкреплением в задаче тестирования на проникновение // Современная наука: актуальные проблемы теории и практики. Сер. Естественные и технические науки. 2020. № 11. С. 104–107. DOI: 10.37882/2223-2966.2020.11.26.
3. Греков М.М. Модель автоматизированной системы имитации атак на основе машинного обучения // Системы и средства информатики. 2025. Т. 35. № 3. С. 105–116. DOI: 10.14357/08696527250307.
4. Simon R., Mees W. SoK: a comparison of autonomous penetration testing agents // ARES’24: Proceedings of the 19th International Conference on Availability, Reliability and Security. New York: Association for Computing Machinery. 2024. Article 41. P. 1–10. DOI: 10.1145/3664476.3664484.
5. Sarraute C., Buffet O., Hoffmann J. POMDPs make better hackers: accounting for uncertainty in penetration testing // Proceedings of the AAAI Conference on Artificial Intelligence. 2012. V. 26. № 1. P. 1816–1824. DOI: 10.1609/aaai.v26i1.8363.
6. Котенко И.В., Чечулин А.А. Применение графов атак для оценки защищённости компьютерных сетей и анализа событий безопасности // Системы высокой доступности. 2013. № 3. С. 103–110.
7. Ho J., Ermon S. Generative adversarial imitation learning // Advances in Neural Information Processing Systems. 2016. V. 29. P. 4565–4573.
8. Chen J., Hu S., Zheng H., Xing C., Zhang G. G AIL-PT: an intelligent penetration testing framework with generative adversarial imitation learning // Computers & Security. 2023. V. 126. Article 103055. DOI: 10.1016/j.cose.2022.103055.
9. Fu J., Luo K., Levine S. Learning robust rewards with adversarial inverse reinforcement learning // Proceedings of the 6th International Conference on Learning Representations. Vancouver. 2018.
10. Huang S., Ontanon S. A closer look at invalid action masking in policy gradient algorithms // The International FLAIRS Conference Proceedings. 2022. V. 35. DOI: 10.32473/flairs.v35i.130584.
11. Tobin J., Fong R., Ray A., Schneider J., Zaremba W., Abbeel P. Domain randomization for transferring deep neural networks from simulation to the real world // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2017. P. 23–30. DOI: 10.1109/IROS.2017.8202133.
12. Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms // arXiv. 2017. arXiv:1707.06347. DOI: 10.48550/arXiv.1707.06347.