А.Н. Чесалин1

1 МИРЭА – Российский технологический университет (Москва, Россия)

Постановка проблемы. Современные информационно-аналитические системы обрабатывают огромные массивы разнородной быстроменяющейся информации, которые принято называть большими данными, что требует огромных вычислительных мощностей и оптимизированных алгоритмов обработки данных. В задачах классификации объектов с разнородной информацией целесообразно применять модели, построенные на современных реализациях градиентного бустинга и бутстреп-агрегирования, в связи с высоким качеством их прогнозов. При этом при обработке больших данных в реальном времени важно не только качество классификации, но и скорость ее выполнения. Особенно это актуально в задачах обнаружения сетевых аномалий (вторжений). Перспективным направлением решения данной задачи могут стать каскадные классификаторы, традиционно использующиеся в компьютерном зрении. Каскадные классификаторы позволяют при заданных вероятностях ошибок классификации принять решение о наличии/отсутствии аномалии, используя не все имеющиеся информационные признаки и классификаторы, а только часть, необходимую для достижения требуемого качества классификации. Применение каскадов оправдано, если необходимо получить результаты требуемого качества при существенных ограничениях времени на выполнение операции детектирования.

Цель. Исследовать возможность использования каскадных алгоритмов классификации для совершенствования систем обнаружения вторжений.

Результаты. С использованием методов машинного обучения, прикладной математической статистки и статистического моделирования проведено исследование наиболее эффективных алгоритмов построения каскадов (Attentional cascade, Boosted Chain, Soft Cascade, WaldBoost, Direct-backward pruning, Entropy-driven evaluation) для задачи обнаружения сетевых аномалий, показаны достоинства и недостатки этих алгоритмов и приведен псевдокод их реализации. Сделано сравнение эффективности исследуемых алгоритмов на различных наборах данных. Рассмотрены особенности применения каскадов классификаторов в задаче обнаружения аномалий. Отмечена перспективность применения каскадов не только в задачах распознавания образов, но и в задачах обработки больших данных в реальном времени, а именно: в системах обнаружения сетевых аномалий и краевых технологиях.

Практическая значимость. Проведенное исследование показало возможность эффективного использования каскадных алгоритмов классификации в задачах обработки разнородных данных (больших данных) в реальном времени, например, в системах обнаружения сетевых аномалий и краевых технологиях для повышения скорости (эффективности) обработки.

Чесалин А.Н. Применение каскадных алгоритмов классификации для совершенствования систем обнаружения вторжений // Нелинейный мир. 2022. Т. 20. № 1. С. 24-41. DOI: https://doi.org/10.18127/j20700970-202201-03

1. Prokhorenkova L. et al. CatBoost: unbiased boosting with categorical features // Advances in Neural Information Processing Systems. 2018. Р. 6638-6648.
2. Tan Lu et al. Comparison of YOLO v3, Faster R-CNN, and SSD for Real-Time Pill Identification // BMC Medical Informatics and Decision Making. 2021. Р. 1-28. https://doi.org/10.21203/rs.3.rs-668895/v1.
3. Zhang Dongyang et al. Large factor image super-resolution with cascaded Convolutional Neural networks // IEEE Transactions on Multimedia. 2021. Р. 1-9. https://doi.org/10.1109/TMM.2020.3008041.
4. Han Wang. Yali Li, Shengjin Wang. Fast Pedestrian Detection with Attention-Enhanced Multi-Scale RPN and Soft-Cascaded Decision Trees // IEEE Transactions on Intelligent Transportation Systems. 2019. № 99. Р. 1-8. https://doi.org/10.1109/TITS.2019.2948398.
5. Muthupriya Vasudevan et. al. Customer churn analysis using XGBoosted decision trees // Indonesian Journal of Electrical Engineering and Computer Science. 2022. V. 25. № 1. Р. 488-495. https://doi.org/ 10.11591/ijeecs.v25.i1.pp488-495.
6. Viola P., Jones M. Robust Real-Time Face Detection. Second international workshop on statistical and computational theories of vision – modeling, learning, computing, and sampling. 2001. Р. 1–25.
7. NSL‐KDD Data Set. [Электронный ресурс]. URL: http://nsl.cs.unb.ca/NSL‐KDD (дата обращения: 23.11.2021).
8. Freund Y., Schapire R. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting // Journal of computer and system sciences.1997. № 55. Р. 119-139.
9. Xiao Rong, Zhu Long. Boosting chain learning for object detection // Proceedings of IEEE Int. Conf. Computer Vision. 2003. № 1. Р. 709-715. https://doi.org/10.1109/ICCV.2003.1238417.
10. Sochman J., Matas J. Waldboost - Learning for Time Constrained Sequential Detection // CVPR. 2005. Р. 150–157.
11. Wald A. Sequential Analysis. NY: John Wiley and Sons. 1947. 212 р.
12. Chesalin A., Grodzenskiy S., Nilov M., Agafonov A. Modification of the WaldBoost algorithm to improve the efficiency of solving pattern recognition problems in real-time // Rossiiskii tekhnologicheskii zhurnal = Russian Technological Journal. 2019. V. 7. № 5. Р. 20-29 (in Russ.). https://doi.org/10.32362/2500-316X-2019-7-5-20-29.
13. Bourdev L., Brandt J. Robust Object Detection via Soft Cascade // CVPR. 2005. Р. 236–243.
14. Zhang C., Viola P. Multiple-Instance Pruning for Learning Efficient Cascade Detectors // NIPS. 2007. Р. 1-7.
15. Sznitman R. et al. Fast Object Detection with Entropy-Driven Evaluation // .CVPR. 2013. Р. 3268-3275. https://doi.org/10.1109/CVPR.2013.420.
16. Pedregosa et al. Scikit-learn: Machine Learning in Python // JMLR 12. 2011. Р. 2825-2830.
17. Ruiz-Vanoye et al. Edge computing–Foundations and applications // AI, Edge and IoT-based Smart Agriculture. 2022.
    Р. 17-30. https://doi.org/10.1016/B978-0-12-823694-9.00017-7.