350 руб
Журнал «Нейрокомпьютеры: разработка, применение» №11 за 2012 г.
Статья в номере:
Синтез прогнозирующих динамических ИНС на основе алгоритмической теории информации
Ключевые слова: искусственные нейронные сети алгоритмическая теория информации принцип минимальной длины описания прогнозирование обучение динамические системы
Авторы:
А.С. Потапов - д.т.н., доцент, начальник лаборатории, Государственный оптический институт им С.И. Вавилова (Санкт-Петербург, Россия). E-mail: pas.aicv@gmail.com
Аннотация:
Рассмотрена проблема построения прогнозирующих искусственных нейронных сетей (ИНС) в рамках теоретико-информационного подхода к индуктивному выводу. ИНС трактуются как способ представления моделей, описывающих закономерности, которые могут содержаться в наблюдательных данных. В зависимости от конкретизации формализма ИНС представимыми оказываются разные закономерности. Эффективность разных представлений в зависимости от класса решаемых задач определяется в соответствии с принципом репрезентационной минимальной длины описания. Проведен анализ линейных динамических ИНС как представления. Разработан новый тип динамических ИНС, расширяющий линейные ИНС за счет введения нелинейных «связей на связи» с сохранением представимости элементарных функций, которая нарушается при стандартном введении нелинейных активационных функций. Предложен алгоритм экстраполяции временных рядов с использованием нового типа ИНС, и проведена его экспериментальная проверка.
Страницы: 60-68
Список источников
  1. Потапов А.С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания. СПб: Политехника. 2007.
  2. Колмогоров А.Н. К логическим основам теории информации и теории вероятностей // Проблемы передачи информации. 1969. Т. 5. № 3. С. 3-7.
  3. Rissanen J.J.Modeling by the shortest data description // Automatica-J.IFAC. 1978. V. 14. P. 465-471.
  4. Wallace C.S., Boulton D.M. An information measure for classification // Comput. J. 1968. V. 11. P. 185-195.
  5. Vitanyi P., Li M. Ideal MDL and its relation to Bayesianism // Proc. ISIS: Information, Statistics and Induction in Science. 1996. P. 282-291.
  6. Потапов А.С. Сравнительный анализ структурных представлений изображений на основе принципа репрезентационной минимальной длины описания // Оптический журнал. Т. 75. № 11. 2008. С. 35-41.
  7. Li M., Vitanyi P.M.B. Philosophical issues in Kolmogorov complexity (invited lecture) // In W. Kuich, ed., Proc. on Automata, Languages and Programming. 1992. V. 623. P. 1-15.
  8. Solomonoff R. A formal theory of inductive inference, par1 and part 2 // Information and Control. 1964. V. 7. P. 1-22, 224-254.
  9. Vitanyi P.M.B., Li M. Minimum description length induction, Bayesianism, and Kolmogorov complexity // IEEE Trans. on Information Theory. 2000. V. 46. No. 2. P. 446-464.
  10. Solomonoff R. Does Algorithmic Probability Solve the Problem of Induction - // Oxbridge Research. P.O.B. 391887. Cambridge. Mass. 02139. 1997.
  11. Морозов О.А., Овчинников П.Е., Семин Ю.А., Фидельман В.Р. Применение теоретико-информационного подхода в задаче обучения многослойного персептрона // Нейрокомпьютеры:разработка, применение. 2011. № 3. C. 29-33.
  12. Leonardis A., Bischof H. An efficient MDL-Based construction of RBF networks // Neural Networks. 1998. V. 11. № 5.
    P. 963-973.
  13. Jeen-Shing Wang, Yu-Liang Hsu An MDL-Based Hammerstein Recurrent Neural Network for Control Applications // Neurocomputing. 2010. V. 74. P. 315-327.
  14. Каримова Л.М., Ким С.А., Пак И.Т. Принцип минимальной длины описания в задачах нейропрогноза временных рядов // Нейроинформатика. 2003. С. 192-199.
  15. Zhao Yi, Small M. Minimum description length criterion for modeling of chaotic attractors with multilayer perceptron networks // IEEE Transactions on Circuits and Systems I. 2006. V. 53. Iss. 3. P. 722-732.
  16. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators // Neural Networks. 1989. V. 2. № 5. P. 359-366.
  17. Potapov A.S., Malyshev I.A., Puysha A.E., Averkin A.N. New paradigm of learnable computer vision algorithms based on the representational MDL principle // Proc. SPIE. 2010. V. 7696. P. 769606.