В.И. Терехов - к.т.н., доцент, кафедра «Системы обработки информации и управления», Московский государственный технический университет им. Н.Э. Баумана E-mail: terekchow@bmstu.ru И.М. Черненький - аспирант, кафедра «Системы обработки информации и управления», Московский государственный технический университет им. Н.Э. Баумана E-mail: cheivan@mail.ru С.В. Минакова - магистр 2-го года обучения, кафедра «Системы обработки информации и управле-ния», Московский государственный технический университет им. Н.Э. Баумана E-mail: morgana_93@mail.ru

Рассмотрены методы настройки числа нейронов в скрытом слое полносвязной нейронной сети (перцептрона). Выполнено теоретическое сравнение указанных методов, проанализированы их преимущества и недостатки. Приведено сравнение методов по точности на тестовой выборке, скорости обучения и оптимальному числу нейронов в скрытом слое нейронной сети. Показано, что методы добавления нейронов и связей в однослойную перцептронную сеть во время обучения могут быть использованы в качестве инструмента, позволяющего ускорить обучение нейронной сети и подобрать оптимальное число нейронов в скрытом слое. Определены направления дальнейших исследований.

 

1. Осовский С. Нейронные сети для обработки информации: Пер. с польск. И.Д. Рудинского. М.: Библио-Глобус. 2016.
2. Хаш Д., Хорн Б. Прогресс в управляемых нейронных сетях // Обработка сигналов. 1993. С. 8-39.
3. Хехт-Нильсен. Отображение теоремы Колмогорова в терминах искусственных нейронных сетей // Докл. на Междунар. конф. по нейронным сетям. Сан-Диего. 1987. Вып. 3. С. 11-13.
4. Пупков К.А., Коньков В.Г. Интеллектуальные системы. Исследование и создание. М.: МГТУ им. Н. Э. Баумана. 2003.
5. Макаров И.М., Лохин В.М., Манько С.В. Искусственный интеллект и интеллектуальные системы управления. Отделение информационных технологий и вычислительных систем РАН. М.: Наука. 2006. С. 30-31.
6. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Изд. 2-е. М.: Горячая линия-Телеком. 2002.
7. ЛеКун Я., Денкер Дж., Солла С. Оптимальное прореживание нейронных сетей // Достижения в NIPS2 // Под ред. Д. Турецкого. 1990. C. 598-605.
8. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука. Сибирская издательская фирма РАН. 1999. 337 с.
9. Герц А., Андерс С.К., Ричард Г.П. Введение в теорию нейронных вычислений. Т.2. Пресса Уэствью. 1995.
10. Ли К., Тифтс Д. Синтез нейронных сетей последовательным добавлением скрытых моделей // докл. на международной конференции по нейронным сетям. Орландо. 1994.
11. Андерсон, Джеймс А. Дискретная математика и комбинаторика. М.: Издательский дом «Вильямс». 2004. 960 с.
12. Фальман С.Е., Лебьер С. Архитектура сети каскадной корреляции // Достижения в NIPS2 // Под ред. Д. Турецкого. 1990. C. 524-532.
13. Фальман С.Е. Методы ускорения обучения на обратном распространении ошибок: эмпирическое исследование // Под ред. Моргана Кауфмана. Лос-Альтос. США. 1998. С. 38-51.
14. Климаускас Г. Neural Ware - инструкция для пользователей, компания Neural Ware, США, 1992.
15. Рындин А.А., Ульев В.П. Исследование скорости обучения нейронных сетей // Вестник ВГУ. Т.8. Вып. 5. 2012.
16. Дуда O., Харт П., Сторк Д. Классификация паттернов. Изд. 2-е. Wiley-Interscience. 2000.
17. Седжвик Р., Флажолет Ф. Введение в анализ алгоритмов. Изд. 2-е. Addison-Wesley. 2013. С. 3-26.
18. Игель К., Виганд С, Фридрихс Ф. Эволюционная оптимизация нейронных систем: использование стратегии адаптации // Международный журнал вычислительной математики. 2005. Вып. 1.
19. ЛеКун Я., Коринна К., Берджес Дж.К. База данных рукописных символов MNIST, режим доступа [http://yann.lecun.com/exdb/mnist/] (дата обращения 20.01.17).