И.Н. Синицын1, Ю.П. Титов2

1,2 ФИЦ «Информатика и управление» РАН (Москва, Россия),

1,2 Московский авиационный институт (Москва, Россия)

Постановка проблемы. Современные методы исследования систем высокой доступности опираются на сложные аналитические и имитационные модели. Задачей таких моделей является определение значений критериев при различных параметрах системы с целью поиска рациональных или оптимальных параметров. При этом процесс оптимизации, как правило, выполняется пользователем или разработчиком системы. Часто такие задачи вычисляются на кластерах, при этом на кластер сразу подается множество значений, множество наборов параметров, которые кластер рассматривает последовательно.

Цель. Рассмотреть возможность применения модификации метода муравьиных колоний для оптимизации порядка следования наборов параметров из множества с целью более быстрого нахождения рациональных решений на кластере.

Результаты. Предложена модификация метода муравьиных колоний, позволяющая осуществлять направленный перебор значений параметров. Для данной модификации созданы структура и программная реализация параметрического графа и применение в алгоритме хэш-таблиц. Показаны способы улучшения качества работы метода муравьиных колоний: для муравьев, нашедших уже рассмотренный путь, на граф не заносится феромон; перевод параметрического графа в начальное состояние, если все муравьи на итерации не нашли новых решений; использование дополнительного параметра – число посещения вершины графа муравьями, при вероятностном определении пути движения муравья.

Практическая значимость. Показана возможность применения метода муравьиных колоний для оптимизации порядка следования гиперпараметров выичслительного кластера. Предложенные модификации алгоритма показали свою эффективность. Выработаны рекомендации по применяемым методам и значениям параметров алгоритма муравьиных колоний. Предложены методы программной реализации алгоритма на вычислительной машине.

Синицын И.Н., Титов Ю.П. Оптимизация порядка следования гиперпараметров вычислительного кластера методом муравьиных колоний // Системы высокой доступности. 2022. Т. 18. № 3. С. 23−38. DOI: https://doi.org/10.18127/j20729472-202203-02

1. Colorni A., Dorigo M., Maniezzo V. Distributed Optimization by Ant Colonies // Proc. First Eur. Conf. on Artific. Life. Paris. France. F.Varela and P.Bourgine (Eds.). Elsevier Publishing. P. 134−142. 1992.
2. Dorigo M., St¨ utzle, T. Ant Colony Optimization // MIT Press. 2004. P. 321.
3. Joseph M. Pasia Richard F. Hartl Karl F. Doerner. Solving a Bi-objective Flowshop Scheduling Problem by Pareto-Ant Colony Optimization M. Dorigo et al. (Eds.) // ANTS 2006. LNCS 4150. 2006. P. 294−305.
4. Nicolas Pinto, David Doukhan, James J. DiCarlo and David D. Cox. A high-throughput screening approach to discovering good forms of biologically inspired visual representation // PLoS Comput Biol. 2009. 5(11):e1000579. https://doi.org/10.1371/journal.pcbi.1000579.
5. Coates A., Ng A., Lee, H. (2011). An Analysis of Single-Layer Networks in Unsupervised Feature Learning // Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, in Proceedings of Machine Learning Research (Открытый доступ 24.08.2022) https://proceedings.mlr.press/v15/coates11a.html.
6. A. Coates and A.Y. Ng. The importance of encoding versus training with sparse coding and vector quantization // ICML'11: Proceedings of the 28th International Conference on International Conference on Machine Learning. June 2011. P. 921−928.
7. James Bergstra, Remi Bardenet, Remi Bardenet, Balazs Kegl. Algorithms for Hyper-Parameter Optimization (Открытый доступ 24.08.2022: https://proceedings.neurips.cc/paper/2011/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf).
8. Feurer M., Hutter F. Hyperparameter Optimization. In: Hutter F., Kotthoff L., Vanschoren J. (eds) Automated Machine Learning // The Springer Series on Challenges in Machine Learning. Springer, Cham. 2019. https://doi.org/10.1007/978-3-030-05318-5_1.
9. Koehrsen Will. A conceptual explanation of bayesian hyperparameter optimization for machine learning. 2018. (Открытый доступ 24.08.2022: https://towardsdatascience.com/a-conceptual-explanation-of-bayesian-model-based-hyperparameter-optimization-for-machine-learning-b8172278050f).
10. Bergstra James S., Rémi Bardenet, Yoshua Bengio and Balázs Kégl. Algorithms for hyper-parameter optimization // In Advances in neural information processing systems. 2011. P. 2546−2554.
11. Akiba, Takuya, Shotaro Sano, Toshihiko Yanase, Takeru Ohta and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework // In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019. P. 2623−2631. https://doi.org/10.48550/arXiv.1907.10902.
12. https://krasserm.github.io/2018/03/21/bayesian-optimization (Открытый доступ 24.08.2022).
13. https://krasserm.github.io/2018/03/19/gaussian-processes (Открытый доступ 24.08.2022).
14. https://towardsdatascience.com/a-conceptual-explanation-of-bayesian-model-based-hyperparameter-optimization-for-machine-learning-b8172278050f (Открытый доступ 24.08.2022).
15. Ian Dewancker, Michael McCourt, Scott Clark Bayesian Optimization Primer (Открытый доступ 24.08.2022: https://static.sigopt.com/b/20a144d208ef255d3b981ce419667ec25d8412e2/static/pdf/SigOpt_Bayesian_Optimization_Primer.pdf).
16. IBM Bayesian Optimization Accelerator 1.1 helps identify optimal product designs faster with breakthrough performance for scientific discovery and high-performance computing simulation (Открытый доступ 24.08.2022: https://www.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/6/877/ENUSZP20-0186/index.html&request_locale=en).
17. Torry Tufteland(B), Guro Ødesneltvedt(B), and Morten Goodwin. Optimizing PolyACO Training with GPU-Based Parallelization M. Dorigo et al. (Eds.) // ANTS 2016. LNCS 9882. P. 233−240. 2016. DOI: 10.1007/978-3-319-44427-7 20.
18. Parpinelli R., Lopes H., Freitas A.: Data mining with an ant colony optimization algorithm // IEEE Trans. Evol. Comput. 2002. 6(4). P. 321−332.
19. Bremer Jörg, Sebastian Lehnhoff. Constrained Scheduling of Step-Controlled Buffering Energy Resources with Ant Colony Optimization // ANTS Conference. 2020.
20. Acevedo J., Maldonado S., Lafuente S., Gomez H., Gil P. Model Selection for Support Vector Machines Using Ant Colony Optimization in an Electronic Nose Application // Ant Colony Optimization and Swarm Intelligence. Dorigo M., Gambardella L.M., Birattari M., Martinoli A., Poli R., Stützle T. (eds). ANTS 2006. Lecture Notes in Computer Science. V. 4150. Springer, Berlin, Heidelberg. https://doi.org/10.1007/11839088_47.
21. Parpinelli R., Lopes H., Freitas A.: Data mining with an ant colony optimization algorithm // IEEE Trans. Evol. Comput. 2002. 6(4). P. 321−332.
22. Junior I.C.: Data mining with ant colony algorithms // ICIC 2013. LNCS. Huang, D.-S., Jo, K.- H., Zhou, Y.-Q., Han, K. (eds.). V. 7996. P. 30−38. Springer, Heidelberg. 2013.
23. Martens D., De Backer M., Haesen R., Vanthienen J., Snoeck M., Baesens B. Classification with ant colony optimization // IEEE Trans. Evol. Comput. 2007. 11(5). P. 651−665.
24. Карпенко А.П., Синицын И.Н. Бионика и системы высокой доступности // Системы высокой доступности. 2022. Т. 18. № 2. С. 25−41. DOI: https://doi.org/ 10.18127/j20729472-202202-02.
25. Синицын И.Н., Титов Ю.П. Развитие стохастических алгоритмов муравьиной организации // Сб. статей Первой Междунар. научно-практической конф. «Бионика – 60 лет. Итоги и перспективы» / Под ред. А.П. Карпенко. 17−19 декабря 2021. М.: Ассоциация технических университетов. 2022. С. 210−220. DOI: 10.53677/9785919160496_210_220.
26. Хахулин Г.ф. Титов Ю.П. Система поддержки решений поставок запасных частей летательных аппаратов военного назначения // Известия Самарского научного центра Российской академии наук. 2014. Т. 16. № 1−5. С. 1619−1623.
27. Титов Ю.П. Модификации метода муравьиных колоний для решения задач разработки авиационных маршрутов // Автоматика и телемеханика. 2015. выпуск 3. С. 108−124.
28. Титов Ю.П. Модификации метода муравьиных колоний для разработки программного обеспечения решения задач многокритериального управления поставками // Современные информационные технологии и ИТ-образование. 2017. Т. 13. № 2. С. 64−74. DOI 10.25559/SITITO.2017.2.222.
29. Судаков В.А., Батьковский А.М., Титов Ю.П. Алгоритмы ускорения работы модификации метода муравьиных колоний для поиска рационального назначения сотрудников на задачи с нечетким временем выполнения // Современные информационные технологии и ИТ-образование. 2020. Т. 16. № 2. С. 338−350. doi:10.25559/SITITO.16.202002.338-350.
30. Синицын И.Н., Титов Ю.П. Инструментальное программное обеспечение анализа и синтеза стохастических систем высокой доступности (XV) // Системы высокой доступности. 2021. Т. 17. № 4. С. 24−33. DOI 10.18127/j20729472-202104-02. – EDN YEGVMR.