Г.И. Тедеев1, А.Ю. Сальников2

1, 2 Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации (Москва, Россия)
1 g.i.tedeev@gmail.com, 2 salnikov-ay@ranepa.ru

Постановка проблемы. В статье представлен обзор отечественных и зарубежных публикаций, посвященных применению эвристических методов оптимизации в задачах обучения искусственных нейронных сетей.

Цель. Предоставить информацию об опыте применения эвристических методов оптимизации при обучении искусственных нейронных сетей для упрощения выбора наиболее подходящего алгоритма обучения в различных задачах.

Результаты. Проведен анализ известных публикаций, который показал, что, несмотря на распространенность метода обратного распространения ошибки, применение различных эвристических методов оптимизации для обучения нейросетей широко освещено в научных работах. Отмечено, что эти методы применяются также и при решении прикладных задач. Установлено, что наиболее часто в контексте обучения нейросетей используются генетический алгоритм, метод роя частиц, метод имитации отжига, метод муравьиной колонии, а также некоторые градиентные алгоритмы с эвристическими элементами. Показано, что широко распространено использование различных гибридных методов. Замечено, что часто в публикациях приводится сравнение эффективности работы рассматриваемых эвристических методов с методом обратного распространения ошибки, в некоторых также содержится сравнительный анализ нескольких эвристических методов. Однако полноценное сравнение всех перечисленных методов в публикациях не было представлено.

Практическая значимость. Обзор применения эвристических методов оптимизации, а также их описание помогут решить задачи обучения искусственных нейронных сетей.

Тедеев Г.И., Сальников А.Ю. Обзор применения эвристических методов оптимизации при обучении искусственных нейронных сетей // Динамика сложных систем. 2025. Т. 19. № 4. С. 86−102. DOI: 10.18127/j19997493-202504-09

1. Круг П.Г. Нейронные сети и нейрокомпьютеры: Учебное пособие по курсу «Микропроцессоры». М.: Издательство МЭИ; 2002. 176 с.
2. Смирнов А.В. Перспективы применения эвристических методов оптимизации в проектировании радиотехнических и телекоммуникационных устройств и систем. Russian Technological Journal. 2017;5(6):20–33. https://doi.org/10.32362/2500-316X-2017-5-6-20-33
3. Васенков Д.В. Методы обучения искусственных нейронных сетей. Компьютерные инструменты в образовании. 2007;1:20–29.
4. Кузьмин Д.М. Методы обучения нейронных сетей. Энергия-2021: Тезисы докладов Шестнадцатой всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. В 6-ти т. 2021;4:42.
5. Драгомиров П.Д., Ларьков М.А. Методы обучения нейронных сетей. Новые технологии в учебном процессе и производстве: Материалы XXI Международной научно-технической конференции. Рязань. 2023; С. 659–661.
6. Фешина Е.В., Омельченко Д.А., Гонатаев Р.Г. Анализ способов обучения нейронных сетей. Инновации. Наука. Образование. 2021;28:978–982.
7. Абрагин А.В. Генетический алгоритм обучения искусственных нейронных сетей. Потенциал современной науки. 2015;8(16):8–11.
8. Загинайло М.В. Обучение искусственных нейронных сетей с помощью математического аппарата генетических алгоритмов. Инновации. Наука. Образование. 2020;12:384–389.
9. Шумков Е.А., Чистик И.К. Использование генетических алгоритмов для обучения нейронных сетей. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013;91:455–464.
10. Мищенко В.А., Коробкин А.А. Использование генетических алгоритмов в обучении нейронных сетей. Современные проблемы науки и образования. 2011;6:116.
11. Божич В.И., Лебедев О.Б., Шницер Ю.Л. Разработка генетического алгоритма обучения нейронных сетей. Известия Южного федерального университета. Технические науки. 2001;22(4):170–174.
12. Шматов Г.П., Фомина Е.Е. Нейронные сети и генетический алгоритм. Тверь: Тверской государственный технический университет; 2019. 200 с.
13. Панченко Т.В. Генетические алгоритмы: учебно-методическое пособие. Астрахань: Издательский дом «Астраханский университет»; 2007. 87 с.
14. Гамбарова Е.М. Оптимизация структуры нейронных сетей с использованием генетического алгоритма для распознавания объектов на космических снимках. Информация и космос. 2009;3:67–71.
15. Sánchez D., Melin P., Castillo O., Valdez F. Modular granular neural networks optimization with Multi-Objective Hierarchical Genetic Algorithm for human recognition based on iris biometric. IEEE Congress on Evolutionary Computation, Cancun, Mexico. 2013; pp. 772–778. https://doi.org/10.1109/CEC.2013.6557646
16. Клочкова К.В., Петрович С.В., Абрамова В.В. Обучение нейронной сети с применением генетического алгоритма для прогнозирования свойств чугунов с вермикулярным графитом. Грани науки. 2013;1:104–107.
17. Zhang J., Xue Q., Chen L., Deng Q. Combat Decision-Making Modeling Method Based on Genetic Neural Network. 12th International Conference on Intelligent Computation Technology and Automation. Xiangtan, China. 2019; pp. 11–15. https://doi.org/10.1109/ICICTA49267.2019.00010
18. Трокоз Д.А. Метод параметрической оптимизации для широких нейронных сетей с использованием генетических алгоритмов. Известия Самарского научного центра Российской академии наук. 2021;23(2):51–56.
19. Липанов А.М. Применение генетического алгоритма для обучения нейронной сети в задаче идентификации СТМ-изображений. Ползуновский вестник. 2010;2:216–220.
20. Бондаренко И.Б., Гатчин Ю.А., Гераничев В.Н. Синтез оптимальных искусственных нейронных сетей с помощью модифицированного генетического алгоритма. Научно-технический вестник информационных технологий, механики и оптики. 2012;2(78):51–55.
21. Аюпов И.Р. Параметрический метод обучения нейронной сети в задаче прогнозирования. Управление экономическими системами: электронный научный журнал. 2015;1(73):10.
22. Загинайло М.В., Фатхи В.А. Оценка эффективности различных методов обучения искусственных нейронных сетей. Инновации. Наука. Образование. 2021;35:442–447.
23. Kajornrit J. A comparative study of optimization methods for improving artificial neural network performance. 2015 7th International Conference on Information Technology and Electrical Engineering. Chiang Mai, Thailand. 2015; pp. 35–40. https://doi.org/10.1109/ICITEED.2015.7408908
24. Лёзин И.А., Муравьёв В.В. Сравнение алгоритмов обучения нейронной сети с бинарными входами. Известия Самарского научного центра Российской академии наук. 2016;18(4-4):766–769.
25. Derisma, Silvana M., Imelda. Optimization of Neural Network with Genetic Algorithm for Breast Cancer Classification. 2018 International Conference on Information Technology Systems and Innovation. Bandung, Indonesia. 2018; pp. 398–403. https://doi.org/10.1109/ICITSI.2018.8696014
26. Черных В.С. Сравнение эффективности различных методов обучения нейронных сетей. Научный результат. Информационные технологии. 2023;8(1):83–93.
27. Ларионов В.С., Малеев О.Г. Эффективность распараллеливания метода на основе роя частиц при оптимизации обучения нейронных сетей. Современная наука: актуальные проблемы теории и практики. Сер.: Естественные и технические науки. 2022;7:71–77.
28. Королев С.А., Майков Д.В. Модификация алгоритма роя частиц на основе метода анализа иерархий. Вестник ВГУ. Сер.: Системный анализ и информационные технологии. 2019;4:36–46.
29. Шайдуров Р.С., Андреева К.А. Применение метода роя частиц и генетического алгоритма для решения задачи определения площади лесного пожара. Актуальные проблемы авиации и космонавтики. 2016;1(12):670–672.
30. Chen X., Hu N. Effectiveness evaluation for UAV air-to-ground attack based on PSO-BP neural network. 36th Chinese Control Conference. Dalian, China. 2017; pp. 3864–3869. https://doi.org/10.23919/ChiCC.2017.8027961
31. Yin Z., Guo X., Tseng S.P., Tang L., Chen Y. Research on Prediction of Medical Training Effect Based on PSO-BP Neural Network. 10th International Conference on Orange Technology. Shanghai, China. 2022; pp. 1–4. https://doi.org/10.1109/ ICOT56925.2022.10008122
32. Shi L., Tang X., Lv J. PCA-based PSO-BP neural network optimization algorithm. The 27th Chinese Control and Decision Conference. Qingdao, China. 2015; pp. 1720–1725. https://doi.org/10.1109/CCDC.2015.7162197
33. Казакова Е.М. Обучение искусственной нейронной сети с использованием гибридного алгоритма оптимизации PSOJaya. Известия Кабардино-Балкарского научного центра РАН. 2023;6(116):95–102.
34. Pang X., Ma H., Su P., Tang G.Y. TPPMA: New Adaptive BP Neural Network Based on PSO and PCA Algorithms. IEEE 27th International Symposium on Industrial Electronics. Cairns, QLD, Australia. 2018; pp. 637–642. https://doi.org/10.1109/ ISIE.2018.8433786
35. Колосов А.А. Многопоточное обучение нейронных сетей с помощью метода роя частиц. Новые математические методы и компьютерные технологии в проектировании, производстве и научных исследованиях: Материалы XXIII Республиканской научной конференции студентов и аспирантов. Гомель: Гомельский государственный университет им. Франциска Скорины. 2020; С. 245–246.
36. Ларионов В.С., Сафиуллина Л.Х. Эффективность применения методов на основе роя частиц при оптимизации ICLPSO обучения нейронных сетей. Современная наука: актуальные проблемы теории и практики. Сер.: Естественные и технические науки. 2022;4(2):81–87.
37. Частикова В.А., Власов К.А., Картамышев Д.А. Обнаружение DDoS-атак на основе нейронных сетей с применением метода роя частиц в качестве алгоритма обучения. Фундаментальные исследования. 2014;8(4):829–832.
38. Котельникова А.Ю., Ванин А.С. Методы обучения нейронных сетей для краткосрочного прогнозирования нагрузки в интеллектуальных электрических сетях. Электроэнергетика глазами молодежи 2016: Материалы VII Международной молодёжной научно-технической конференции. В 3 т. Т. 2. Казань: Казанский государственный энергетический университет. 2016; С. 264–267.
39. Gupta S., Singhal. Phishing URL detection by using artificial neural network with PSO. 2nd International Conference on Telecommunication and Networks. Noida, India. 2017; pp. 1–6. https://doi.org/10.1109/TEL-NET.2017.8343553
40. Титюнников А.В., Бессчетнов А.В. Применение метода роя частиц в качестве обучения нейронных сетей. Проблемы науки. 2019;5(41):50–52.
41. Ермаков Б.С. Оптимизация роем частиц в обучении искусственных нейронных сетей. Системный анализ и логистика. 2017;1:3–9.
42. Ракитянская А.С., Энгельбрехт А.П. Обучение искусственных нейросетей с помощью динамического алгоритма роя частиц. Математическое моделирование. 2012;24(12):107–112.
43. Басалин П.Д., Белокрылов П.Ю., Згурский Д.С. Синтез схем произвольной комбинационной логики в нейросетевом базисе с применением метода имитации отжига. Вестник Нижегородского университета им. Н.И. Лобачевского. 2008;5:126–130.
44. Гаврилов А.В., Канглер В.М. Использование искусственных нейронных сетей для анализа данных. Сборник научных трудов НГТУ. 1999;3:16.
45. Лёзин И.А., Кирьяков С.А. Использование алгоритма имитации отжига для обучения сети ТСК. Известия Самарского научного центра Российской академии наук. 2015;17(2-5):1041–1043.
46. Козырев А.С., Леготин Д.Л. Использование генетических алгоритмов обучения нейронных сетей для решения задач прогнозирования. Актуальные проблемы преподавания информационных и естественно-научных дисциплин: Материалы ХV Всероссийской научно-методической конференции. Кострома: Костромской государственный университет. 2022; С. 125–129.
47. Туровский Я.А., Адаменко А.А. Сравнительный анализ эволюционного метода с использованием «изолятов» и метода имитации отжига при обучении искусственных нейронных сетей. Программная инженерия. 2018;9(4):185–190.
48. Николаева Н.А., Лезина И.В. Использование алгоритма имитации отжига для обучения многослойного персептрона при решении задачи идентификации законов распределения. Прикладная математика и информатика: современные исследования в области естественных и технических наук: Материалы III научно-практической всероссийской конференции (школы-семинара) молодых ученых. Тольятти: Издатель Качалин Александр Васильевич. 2017; С. 437–439.
49. Маклачкова В.В. Сравнительный анализ алгоритмов обратного распространения ошибки и имитации отжига. REDS: Телекоммуникационные устройства и системы. 2023;13(1):26–32.
50. Ni W., Li R. Research on Recognition Technology of Fruit based on Simulated Annealing Algorithm and Neural Network. IEEE Asia-Pacific Conference on Image Processing, Electronics and Computers. Dalian, China. 2021; pp. 877‑880. https://doi.org/10.1109/ IPEC51340.2021.9421261
51. Zhang H., Wang Y., Deng C. Application of gesture recognition based on simulated annealing BP neural network. Proceedings of 2011 International Conference on Electronic & Mechanical Engineering and Information Technology. Harbin, China. 2011; pp. 178–181. https://doi.org/10.1109/EMEIT.2011.6022891
52. Курейчик В.М., Милешко Л.П., Спиридонов О.Б., Штучный А.М. Проблема поиска перспективных алгоритмов обучения нейронных сетей. Инновации в информационных технологиях, машиностроении и автотранспорте: Сборник материалов V Международной научно-практической конференции. Кемерово: Кузбасский государственный технический университет имени Т.Ф. Горбачева. 2021; С. 100–102.
53. Zhang C.T., Zhao A.X. Using adaptive ant colony algorithm optimized BP neural network to identify the DGA fault. IEEE International Conference of IEEE Region 10. Xi'an, China. 2013; pp. 1–4. https://doi.org/10.1109/TENCON.2013.6719070
54. Котляров Е.В. Обучение нейронной сети на основе алгоритма муравьиной колонии для задачи классификации. Электротехнические и компьютерные системы. 2012;8(84):122–129.
55. Valdez F., Castillo O., Melin P. Ant colony optimization for the design of Modular Neural Networks in pattern recognition. International Joint Conference on Neural Networks. Vancouver, BC, Canada. 2016; pp. 163–168. https://doi.org/10.1109/ IJCNN.2016.7727194
56. Liu L. Research on Optimization Design of RBF Neural Network Based on Ant Colony Algorithm. 2nd International Conference on 3D Immersion, Interaction and Multi-sensory Experiences. Madrid, Spain. 2023; pp. 11–15. https://doi.org/10.1109/ ICDIIME59043.2023.00008
57. Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей. Программные продукты и системы. 2012;4:96–100.
58. Проталинский О.М., Щербатов И.А., Беляев И.О. Гибридный метод обучения нейронных сетей для классификации каталитической стадии процесса Клауса. Вестник Саратовского государственного технического университета. 2010;4(2):38–43.
59. Yang R., Hu X., He L. Prediction of Shanghai air quality index based on BP neural network optimized by genetic algorithm. 13th International Symposium on Computational Intelligence and Design. Hangzhou, China. 2020; pp. 205–208. https://doi.org/10.1109/ ISCID51228.2020.00052
60. Рыбак Л.А., Мамаев Ю.А., Вирабян Л.Г. Синтез алгоритма коррекции траектории движения выходного звена робото-гексапода на основе теории искусственных нейронных сетей. Вестник Белгородского государственного технологического университета им. В.Г. Шухова. 2016;12:142–151.
61. Zhang Y., Niu B., Zhuang X., Liao H. Water content ratio measurement with neural network based on simulated annealing. Seventh International Conference on Natural Computation. Shanghai, China. 2011; pp. 878–881. https://doi.org/10.1109/ ICNC.2011.6022215
62. Котляров Е.В., Петрушина Т.И. Гибридный метод обучения искусственной нейронной сети на основе модифицированного алгоритма муравья. Восточно-Европейский журнал передовых технологий. 2012;5(4-59):16–21.
63. Лёзин И.А., Канабеев С.П. Оптимизация обучения нейронных сетей методом комбинации алгоритмов обучения. Перспективные информационные технологии: Междунар. науч.-техн. конф. 2017; С. 14–16.
64. Utkarsh A., Kantha A.S., Praveen J., Kumar J.R. Hybrid GA-PSO trained functional link artificial neural network based channel equalizer. 2nd International Conference on Signal Processing and Integrated Networks. Noida, India. 2015; pp. 285–290. https://doi.org/10.1109/SPIN.2015.7095331
65. Юлкова В.М., Шиловский Г.В. Искусственные нейронные сети. Глубокое обучение. Мониторинг. Наука и технологии. 2019;4(42):68–72.
66. Ye X., Yang K. Optimizing neural networks for public opinion trends prediction. 11th International Conference on Natural Computation. Zhangjiajie, China. 2015; pp. 31–36. https://doi.org/10.1109/ICNC.2015.7377961
67. Chiba Z., Abghour N., Moussaid K., Omri A.E., Rida M. A Hybrid Optimization Framework Based on Genetic Algorithm and Simulated Annealing Algorithm to Enhance Performance of Anomaly Network Intrusion Detection System Based on BP Neural Network. International Symposium on Advanced Electrical and Communication Technologies. Rabat, Morocco. 2018; pp. 1–6. https://doi.org/10.1109/ISAECT.2018.8618804
68. Булыга Ф.С. Эвристические алгоритмы обучения сверточных нейронных сетей в рамках технологии распознавания лиц. StudNet. 2021;4(5).
69. Допира Р.В. Метод идентификации технического состояния радиотехнических средств с применением технологий искусственных нейронных сетей. Программные продукты и системы. 2019;32(4):628–638.
70. Махотило К.В., Вороненко Д.И. Модификация алгоритма Левенберга–Марквардта для повышения точности прогностических моделей связного потребления энергоресурсов в быту. Вестник Национального технического университета Харьковский политехнический институт. Сер.: Информатика и моделирование. 2005;56:83–90.
71. Пархоменко С.С., Леденёва Т.М. Обучение нейронных сетей методом Левенберга–Марквардта в условиях большого количества данных. Вестник Воронежского государственного университета. Сер.: Системный анализ и информационные технологии. 2014;2:98–106.
72. Крючин О.В., Арзамасцев А.А. Параллельные алгоритмы обучения искусственной нейронной сети QuickProp и RPROP. Вестник российских университетов. Математика. 2012;17(1):175–178.
73. Запрягаев С.А., Карпушин А.А. Вычисление и обучение искусственных нейронных сетей прямого распространения на графическом процессоре. Вестник Воронежского государственного университета. Сер.: Системный анализ и информационные технологии. 2011;1:157–164.
74. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика; 2002. 344 с.