О.Н. Черемисинова, В.С. Ростовцев

Вятский государственный университет (г. Киров, Россия)

Постановка проблемы. Повышение качества распознавания образов на основе сверточной нейронной сети (СНС) при отсутствии общепринятой методики определения оптимальных параметров, при которых СНС распознает образы с наибольшей точностью или наименьшей ошибкой, остается актуальной задачей. 

Цель. Проанализировать методы автоматического подбора гиперпараметров для уменьшения трудоемкости процесса настройки СНС.

Результаты. Проведен сравнительный анализ распространенных методов оптимизации гиперпараметров СНС. Предложен метод автоматический оптимизации гиперпараметров, основанный на совместной работе байесовского и эволюционного методов. Результаты настройки СНС представлены тремя наиболее перспективными методами оптимизации – байесовским, эволюционным и гибридным. Показано, что качество оптимизации для всех трех методов примерно одинаково. 

Практическая значимость. Результаты исследований могут быть полезны при проектировании СНС для выбора метода оптимизации гиперпараметров.

Черемисинова О.Н., Ростовцев В.С. Методы автоматического подбора гиперпараметров сверточной нейронной сети // Нейрокомпьютеры: разработка, применение. 2021. T. 23. № 2. С. 26−34. DOI: https://doi.org/10.18127/j19998554-202102-03

1. Ростовцев В.С., Черемисинова О.Н. Повышение качества распознавания изображений подбором параметров сверточной нейронной сети // Материалы 52-й междунар. науч. конф. «Евразийское Научное Объединение». 2019. № 6(52). Ч. 2. С. 114-118.
2. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. Изд. 2-е, испр. М.: ДМК Пресс. 2018. 652 с.
3. Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization // Journal of Machine Learning Research. 2012. V. 13. P. 281-305.
4. Горшенин А.К., Кузьмин В.Ю. Оптимизация гиперпараметров нейронных сетей с использованием высокопроизводительных вычислений для предсказания осадков // Информатика и её применения. 2019. Т. 13. Вып. 1. С. 75–81.
5. Brochu E., Cora V.M., de Freitas N. A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning // CoRR. arXiv preprint arXiv. Dec. 2010. 1012.2599.
6. Frazier P.I. A Tutorial on Bayesian Optimization // CoRR. arXiv preprint arXiv: 2018. 1807.02811.
7. Kim J.-Y., Cho S.-B. Evolutionary Optimization of Hyperparameters in Deep Learning Models // 2019 IEEE Congress on Evolutionary Computation (CEC). 2019. P. 831-837.
8. Sun Y., Xue B., Zhang M. Automatically evolving CNN architectures based on blocks // CoRR, arXiv preprint arXiv. 2018. 1810.11875.
9. Dorigo M., Maniezzo M.V. Parallel genetic algorithms: Introduction and overview of current research // Parallel Genetic Algorithms / ed. J. Stender. IOS Press. 1993. P. 5-42.
10. Свидетельство о регистрации программы № 2021610729 от 27.01.2021 «Программа автоматического подбора гиперпараметров сверточной нейронной сети»: программа для ЭВМ / Черемисинова О.Н., Ростовцев В.С.