350 руб
Журнал «Нейрокомпьютеры: разработка, применение» №3 за 2011 г.
Статья в номере:
Применение теоретико-информационного подхода в задаче обучения многослойного персептрона
Ключевые слова: искусственные нейронные сети обучение энтропия Реньи
Авторы:
О. А. Морозов - к. ф.-м. н., доцент Нижегородского Государственного университета им. Н. И. Лобачевского. E-mail: oleg@nifti.unn.ru П. Е. Овчинников - к. ф.-м. н., н. с. Научно-исследовательского физико-технического института Нижегородского Государственного университета им. Н.И. Лобачевского. E-mail: ope@nifti.unn.ru Ю. А. Семин - научн. сотр. Научно-исследовательского физико-технического института Нижегородского Государственного университета им. Н. И. Лобачевского (НИФТИ ННГУ). E-mail: semin@nifti.unn.ru В. Р. Фидельман - д. т. н., проф., зав. каф. информационных технологий в физических исследованиях Нижегородского Государственного университета им. Н.И. Лобачевского. E-mail: fidelman@nifti.unn.ru
Аннотация:
Предложен эффективный алгоритм обучения искусственной нейронной сети (ИНС), состоящий в оптимизации информационного критерия на основе выражения для энтропии Реньи. Представлены результаты моделирования, показывающие, что предложенная схема позволяет повысить скорость обучения по сравнению с традиционным подходом.
Страницы: 29-33
Список источников
  1. Колмогоров А. Н.О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // Докл. АН СССР. 1957. Т. 114. № 5. С. 953-956.
  2. Овчинников П. Е., Семин Ю. А.Влияние способа параметризации звукового сигнала на эффективность распознавания фонем персептроном // Изв. вузов. Радиофизика. НижнийНовгород. 2007. Том L. № 4. С. 350-356.
  3. Rumelhart, D. E., Hinton, C. E., Williams, R. J.,Learning Internal Representations by Error Propagation/ In D. E. Rumelhart & J. L. McClelland (Eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. 1986. V. 1: Foundations. MIT Press.
  4. Erdogmus, D., Principe, J. C.,Generalized Information Potential Criterion for Adaptive System Training // IEEE Transactions on Neural Networks. 2002. V. 13. № 5. P. 1035-1044.
  5. Freeman, J. A., Skapura, D. M.,Neural networks: algorithms, applications, and programming techniques / Addison-Wesley Publishing Company. 1991.
  6. Cybenko, G.,Approximation by Superpositions of a Sigmoid Function // Mathematics of Control, Signals, and Systems. 1989. V. 2. P. 303.