Метод формирования стратегий атак для автоматизированного тестирования на проникновение на основе восстановленной оценки переходов

М.М. Греков; А.А. Сычугов; Е.И. Минаков; С.Ф. Боев

doi:10.18127/j00338486-202609-16

Метод формирования стратегий атак для автоматизированного тестирования на проникновение на основе восстановленной оценки переходов

М.М. Греков¹, А.А. Сычугов², Е.И. Минаков³, С.Ф. Боев⁴

научная статья УДК 004.056.53 Страницы: 150-158 doi.org/10.18127/j00338486-202609-16

^1,2,3 ФГБОУ ВО «Тульский государственный университет» (г. Тула, Россия)
⁴ ПАО АФК «Система» (Москва, Россия)

Ключевые слова: Автоматизированное тестирование на проникновение стратегия атаки обратное обучение с подкреплением допустимые действия фазовая модель переносимость

Аннотация

Постановка проблемы. Автоматизированное тестирование на проникновение информационных систем и сетевых инфраструктур требует формирования последовательности атакующих действий, учитывающей текущее состояние сетевой среды, техническую применимость операций и логику этапов проникновения. Политики выбора действий, обученные на одной конфигурации, могут зависеть от частного маршрута к цели, а прямое поведенческое клонирование воспроизводит выбор эксперта, но не формирует отдельного критерия оценки последствий действия.

Цель. Разработать метод формирования стратегий атак, обеспечивающий повышение переносимости стратегий атак между различными конфигурациями сетевой среды и их структурной упорядоченности в соответствии с этапами процесса проникновения при сохранении результативности и реализуемости действий.

Результаты. Предложен метод, объединяющий динамическую маску допустимых действий, фазовую модель атаки, априорную экспертную политику, восстановление функции оценки переходов по экспертным траекториям и обучение на семействе сетевых конфигураций. Проведено экспериментальное исследование, результаты которого подтвердили вклад предметных компонентов разработанного метода: 1) маска позволила снизить долю недопустимых операций с единицы до нуля; 2) включение фазовой модели дало увеличить долю обоснованных переходов между этапами с 0,768 до 1,0 при близкой результативности; 3) обучение на изменяемых конфигурациях обеспечило долю успешных эпизодов на контрольном наборе с 0,872 до 0,960; 4) восстановленная оценка переходов позволила увеличить долю случаев, в которых экспертный переход занимал первую позицию, с 0,552 до 0,779, а среднюю обратную позицию − с 0,752 до 0,887.

Практическая значимость. Представленный метод может быть использован в автоматизированных системах тестирования на проникновение для исключения невыполнимых операций, формирования последовательностей действий по этапам атаки и проверки переноса стратегии на изменённые конфигурации сети.

Поступила: 03.08.2026
Одобрена: 10.08.2026
Принята: 31.08.2026

Для цитирования

Греков М.М., Сычугов А.А., Минаков Е.И., Боев С.Ф. Метод формирования стратегий атак для автоматизированного тестирования на проникновение на основе восстановленной оценки переходов // Радиотехника. 2026. Т. 90. № 9. С. 150−158. DOI: https://doi.org/10.18127/j00338486-202609-16

Список источников

Мясников А.В. Применение технологий машинного обучения для оптимизации процесса тестирования на проникновение // Проблемы информационной безопасности. Компьютерные системы. 2019. № 2. С. 9–15.
Мясников А.В. Применение машинного обучения с подкреплением в задаче тестирования на проникновение // Современная наука: актуальные проблемы теории и практики. Сер. Естественные и технические науки. 2020. № 11. С. 104–107. DOI: 10.37882/2223-2966.2020.11.26.
Греков М.М. Модель автоматизированной системы имитации атак на основе машинного обучения // Системы и средства информатики. 2025. Т. 35. № 3. С. 105–116. DOI: 10.14357/08696527250307.
Simon R., Mees W. SoK: a comparison of autonomous penetration testing agents // ARES’24: Proceedings of the 19th International Conference on Availability, Reliability and Security. New York: Association for Computing Machinery. 2024. Article 41. P. 1–10. DOI: 10.1145/3664476.3664484.
Sarraute C., Buffet O., Hoffmann J. POMDPs make better hackers: accounting for uncertainty in penetration testing // Proceedings of the AAAI Conference on Artificial Intelligence. 2012. V. 26. № 1. P. 1816–1824. DOI: 10.1609/aaai.v26i1.8363.
Котенко И.В., Чечулин А.А. Применение графов атак для оценки защищённости компьютерных сетей и анализа событий безопасности // Системы высокой доступности. 2013. № 3. С. 103–110.
Ho J., Ermon S. Generative adversarial imitation learning // Advances in Neural Information Processing Systems. 2016. V. 29. P. 4565–4573.
Chen J., Hu S., Zheng H., Xing C., Zhang G. G AIL-PT: an intelligent penetration testing framework with generative adversarial imitation learning // Computers & Security. 2023. V. 126. Article 103055. DOI: 10.1016/j.cose.2022.103055.
Fu J., Luo K., Levine S. Learning robust rewards with adversarial inverse reinforcement learning // Proceedings of the 6th International Conference on Learning Representations. Vancouver. 2018.
Huang S., Ontanon S. A closer look at invalid action masking in policy gradient algorithms // The International FLAIRS Conference Proceedings. 2022. V. 35. DOI: 10.32473/flairs.v35i.130584.
Tobin J., Fong R., Ray A., Schneider J., Zaremba W., Abbeel P. Domain randomization for transferring deep neural networks from simulation to the real world // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2017. P. 23–30. DOI: 10.1109/IROS.2017.8202133.
Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms // arXiv. 2017. arXiv:1707.06347. DOI: 10.48550/arXiv.1707.06347.

[1] Мясников А.В. Применение технологий машинного обучения для оптимизации процесса тестирования на проникновение // Проблемы информационной безопасности. Компьютерные системы. 2019. № 2. С. 9–15.

[2] Мясников А.В. Применение машинного обучения с подкреплением в задаче тестирования на проникновение // Современная наука: актуальные проблемы теории и практики. Сер. Естественные и технические науки. 2020. № 11. С. 104–107. DOI: 10.37882/2223-2966.2020.11.26.

[3] Греков М.М. Модель автоматизированной системы имитации атак на основе машинного обучения // Системы и средства информатики. 2025. Т. 35. № 3. С. 105–116. DOI: 10.14357/08696527250307.

[4] Simon R., Mees W. SoK: a comparison of autonomous penetration testing agents // ARES’24: Proceedings of the 19th International Conference on Availability, Reliability and Security. New York: Association for Computing Machinery. 2024. Article 41. P. 1–10. DOI: 10.1145/3664476.3664484.

[5] Sarraute C., Buffet O., Hoffmann J. POMDPs make better hackers: accounting for uncertainty in penetration testing // Proceedings of the AAAI Conference on Artificial Intelligence. 2012. V. 26. № 1. P. 1816–1824. DOI: 10.1609/aaai.v26i1.8363.

[6] Котенко И.В., Чечулин А.А. Применение графов атак для оценки защищённости компьютерных сетей и анализа событий безопасности // Системы высокой доступности. 2013. № 3. С. 103–110.

[7] Ho J., Ermon S. Generative adversarial imitation learning // Advances in Neural Information Processing Systems. 2016. V. 29. P. 4565–4573.

[8] Chen J., Hu S., Zheng H., Xing C., Zhang G. G AIL-PT: an intelligent penetration testing framework with generative adversarial imitation learning // Computers & Security. 2023. V. 126. Article 103055. DOI: 10.1016/j.cose.2022.103055.

[9] Fu J., Luo K., Levine S. Learning robust rewards with adversarial inverse reinforcement learning // Proceedings of the 6th International Conference on Learning Representations. Vancouver. 2018.

[10] Huang S., Ontanon S. A closer look at invalid action masking in policy gradient algorithms // The International FLAIRS Conference Proceedings. 2022. V. 35. DOI: 10.32473/flairs.v35i.130584.

[11] Tobin J., Fong R., Ray A., Schneider J., Zaremba W., Abbeel P. Domain randomization for transferring deep neural networks from simulation to the real world // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2017. P. 23–30. DOI: 10.1109/IROS.2017.8202133.

[12] Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms // arXiv. 2017. arXiv:1707.06347. DOI: 10.48550/arXiv.1707.06347.