И.Н. Синицын1, Ю.П. Титов2

1, 2 ФИЦ «Информатика и управление» РАН (Москва, Россия)
1, 2 Московский авиационный институт (национальный исследовательский университет) (Москва, Россия)
 

Постановка проблемы. При исследовании систем высокой доступности возникает задача определения оптимального или рационального набора параметров системы (гиперпараметров). Для таких задач возможен перебор всех вариантов наборов значений гиперпараметров, чтобы не пропустить оптимальный. Перестановка значений параметров позволяет на ранних этапах получить рациональные решения и возможно остановить поиск новых решений. Предлагается применение модификации метода муравьиных колоний для переупорядочивания наборов значений параметров.

Цель. Исследовать ситуацию, когда большинство наборов значений параметров рассмотрены на вычислительном кластере и методу муравьиных колоний необходимо найти недостающие решения с малой вероятностью их появления. Выработать рекомендации по правилам поведения агента, нашедшего уже рассмотренный набор значений параметров.

Результаты. Рассмотрен бэнчмарк «Carrom table function» с 48400 вариантами наборов значений параметров. Для данного бэнчмарка наилучшие результаты показала модификация метода муравьиных колоний с повторным циклическим поиском новых решений агентом, нашедшим уже рассмотренное решение на итерации. Данный алгоритм при применении в вероятностной формуле дополнительной информации о количестве посещений вершины позволяет не ограничивать поиск дополнительных решений и при рассмотрении 98% решений требует менее 10 дополнительных итераций. Модификация с применением обхода по дереву из-за отсутствия дополнительной информации требует больше дополнительных итераций и больше времени на поиск еще не рассмотренного набора значений параметров.

Практическая значимость. Разработанная и реализованная модификация метода муравьиных колоний позволяет осуществлять направленный перебор всех наборов значений параметров. Оптимальный набор параметров находится после рассмотрения 1% всех решений. Для дальнейшего улучшения алгоритма можно рассмотреть добавление различной дополнительной информации в формулу вероятностного выбора вершины агентом.

Синицын И.Н., Титов Ю.П. Исследование возможности получения всех решений методом муравьиных колоний для задачи оптимизации порядка следования гиперпараметров // Системы высокой доступности. 2023. Т. 19. № 2. С. 55−69. DOI: https:// doi.org/10.18127/j20729472-202302-05

1. Colorni A., Dorigo M., Maniezzo V. Distributed Optimization by Ant Colonies. Proc. First Eur. Conf. on Artific. Life, Paris, France. F. Varela and P. Bourgine (Eds.). Elsevier Publishing. 1992. P. 134–142.
2. Dorigo, M., Stutzle, T.: Ant Colony Optimization //MIT Press, p. 321, 2004
3. Pasia J.M., Hartl R.F., Doerner K.F. Solving a Bi-objective Flowshop Scheduling Problem by Pareto-Ant Colony Optimization M. Dorigo et al. (Eds.). ANTS 2006. LNCS 4150. 2006. P. 294–305.
4. Torry Tufteland (B), Guro Odesneltvedt (B), Morten Goodwin Optimizing PolyACO Training with GPU-Based Parallelization Dorigo M. et al. (Eds.). ANTS 2016. LNCS 9882. 2016. P. 233–240, DOI: 10.1007/978-3-319-44427-7 20
5. Parpinelli R., Lopes H., Freitas A. Data mining with an ant colony optimization algorithm. IEEE Trans. Evol. Comput. 6(4). 2002. P. 321–332.
6. Jörg B., Lehnhoff S. Constrained Scheduling of Step-Controlled Buffering Energy Resources with Ant Colony Optimization. ANTS Conference. 2020.
7. Martens, D., De Backer, M., Haesen, R., Vanthienen, J., Snoeck, M., Baesens, B. Classification with ant colony optimization. IEEE Trans. Evol. Comput. 2007. V. 11(5). P. 651–665.
8. Bergstra J.S., Rémi Bardenet, Yoshua Bengio, Balázs Kégl. Algorithms for hyper-parameter optimization. In Advances in neural information processing systems. 2011. P. 2546–2554.
9. Akiba, Takuya, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019. P. 2623–2631. https://doi.org/10.48550/arXiv.1907.10902
10. Koehrsen W. A conceptual explanation of bayesian hyperparameter optimization for machine learning. 2018. (Открытый доступ 23.12.2022: https://towardsdatascience.com/a-conceptual-explanation-of-bayesian-model-based-hyperparameter-optimization-for-machine-learning-b8172 278050f)
11. Ian Dewancker, Michael McCourt, Scott Clark Bayesian Optimization Primer (Открытый доступ 23.12.2022: https://static.sigopt.com/b/20a144d208ef255d3b981ce419667ec25d8412e2/static/pdf/SigOpt_Bayesian_Optimization_Primer.pdf)
12. IBM Bayesian Optimization Accelerator 1.1 helps identify optimal product designs faster with breakthrough performance for scientific discovery and high-performance computing simulation (Открытый доступ 23.12.2022: https://www.ibm.com/common/ ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/6/877/ENUSZP20-0186/index.html&request_locale=en)
13. Mishra, Sudhanshu K. Some New Test Functions for Global Optimization and Performance of Repulsive Particle Swarm Method. University Library of Munich, Germany, MPRA Paper. 10.2139/ssrn.926132. 2006
14. Layeb, Abdesslem. New hard benchmark functions for global optimization. 2022
15. Jamil, Momin, Yang, Xin-She. Benchmark functions. 2013.
16. Синицын И.Н., Титов Ю.П. Оптимизация порядка следования гиперпараметров вычислительного кластера методом муравьиных колоний // Системы высокой доступности. 2022. Т. 18. № 3. С. 23–37. DOI 10.18127/j20729472-202203-02.
17. Карпенко А.П., Синицын И.Н. Бионика и системы высокой доступности // Системы высокой доступности. 2022. Т. 18. № 2. C. 25−41. DOI: https://doi.org/ 10.18127/j20729472-202202-02.
18. Синицын И.Н., Титов Ю.П. Развитие стохастических алгоритмов муравьиной организации // Бионика – 60 лет. Итоги и перспективы. Сборник статей Первой Международной научно-практической конференции, 17–19 декабря 2021 года, г. Москва / Под ред.
    А.П. Карпенко. М.: Ассоциация технических университетов. C. 210-220. 2022. DOI: 10.53677/9785919160496_210_220.
19. Хахулин Г.Ф. Титов Ю.П. Система поддержки решений поставок запасных частей летательных аппаратов военного назначения // Изв. Самарского научного центра Российской академии наук. 2014. Т. 16. № 1–5. С. 1619–1623.
20. Титов Ю.П. Модификации метода муравьиных колоний для разработки программного обеспечения решения задач многокритериального управления поставками // Современные информационные технологии и ИТ-образование. 2017. Т. 13. № 2. С. 64–74. DOI 10.25559/SITITO.2017.2.222.
21. Судаков В.А., Батьковский А.М., Титов Ю.П. Алгоритмы ускорения работы модификации метода муравьиных колоний для поиска рационального назначения сотрудников на задачи с нечетким временем выполнения // Современные информационные технологии и ИТ-образование. 2020. Т. 16. № 2. С. 338–350. doi:10.25559/SITITO.16.202002.338-350
22. Синицын И.Н., Титов Ю.П. Инструментальное программное обеспечение анализа и синтеза стохастических систем высокой доступности (XV) // Системы высокой доступности. 2021. Т. 17. № 4. С. 24–33. DOI 10.18127/j20729472-202104-02. – EDN YEGVMR.