350 rub
Journal Neurocomputers №1 for 2010 г.
Article in number:
Teaching of feed-forward neural networks based on weight vector decomposition and pseudo-inversion
Authors:
P. V. Saraev
Abstract:
The article is devoted to development and investigation of effectiveness of feed-forward neural networks teaching based on weights vector decomposition. Vector of nonlinear weights v including hidden neurons weights and vector of linear weights u including output neurons weights are connected by the analytic equation . The equation contains vector of teacher values , pseudo-inverse matrix to matrix F(v) of outputs of last hidden layer neurons. The equation lets to determine optimal vector u in a non-iterative manner. This leads to reduction of adjusting weights space dimension. It is developed the formula for evaluation of optimization direction for nonlinear weights v each iteration. It is developed the software for experiments with new method of neural networks teaching. The software was used for numerical experiments with the developed method to determine its effectiveness. Analysis of experiments results showed effectiveness of developed teaching method. Particularly, it leads to better decision and better optimization direction. The developed method is recommended to using with small teaching sets. It can be used to teach of radial basis function neural networks and to adjusting of hybrid neuro-fuzzy systems.
Pages: 65-74
References
  1. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика. 2002.
  2. Аведьян Э. Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. 1995. № 4. С. 106-118.
  3. Golub, G. H., and Pereyra, V., The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate // SIAM J. Num. Anal. 1973. V. 10, P. 413-432.
  4. Пупков К. А., Капалин В. И., Ющенко А. С.Функциональные ряды в теории нелинейных систем. М.: Наука. 1976.
  5. Блюмин С. Л., Сараев П. В. Алгоритм Голуба-Перейры в обучении искусственных нейронных сетей // Нейроинформатика и ее приложения: Мат. VIII Всеросс. семинара. Красноярск: ИПЦ КГТУ. 2000. С. 18-19.
  6. Сараев П. В. Использование псевдообращения в задачах обучения искусственных нейронных сетей // Исследовано в России. 2001. № 29 С. 308-317. http://zhurnal.ape.relarn.ru/articles/2001/029.pdf
  7. Блюмин С. Л., Шуйкова И. А., Сараев П. В, Черпаков И. В. Нечеткая логика: алгебраические основы и приложения: Монография. Липецк: ЛЭГИ. 2002.
  8. Blyumin, S. L. and Saraev, P. V., Reduction of Adjusting Weights Space Dimension in Feedforward Artificial Neural Networks Training // Proceedings of IEEE International Conference on Artificial Intelligence Systems. IEEE. 2002. P. 242-247.
  9. Сараев П. В. Обучение искусственных нейронных сетей: учет линейно-нелинейной структуры // Вестник молодых ученых. 2003. № 2. Сер. Прикладная математика и механика. Вып. 1. С. 92-100.
  10. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. М.: Наука. 1977.
  11. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир. 1988.
  12. Сараев П. В.Комбинирование интервальных методов и псевдообращения в глобальном обучении нейронных сетей //X Всероссийская научно-техническая конференция «Нейроинформатика-2008»: Сб. научн. тр. Ч.2. М.: МИФИ. 2008. С. 208-215.