350 руб
Журнал «Динамика сложных систем - XXI век» №3 за 2014 г.
Статья в номере:
Оптимизация языковых моделей на основе рекуррентных сетей при помощи метода момента и техника ускорения их обучения
Ключевые слова: языковые модели рекуррентные нейронные сети метод момента
Авторы:
Д. И. Озорнин - аспирант, базовая кафедра Яндекса, факультет компьютерных наук, НИУ ВШЭ, компания Яндекс (Москва). E-mail: denioz.25@gmail.com
Аннотация:
Рассмотрен метод ускорения обучения языковых моделей на основе рекуррентных сетей, а также показано решение проблемы ухудшения качества за счет использования метода момента.
Страницы: 32-36
Список источников

  1. Boden M. A Guide to Recurrent Neural Networks and Backpropagation // In the Dallas project. SICS Technical Report T2002:03. 2002.
  2. Goodman J.T. A bit of progress in language modeling, extended version // Technical report MSR-TR-2001-72. 2001.
  3. Mikolov T., Karafiat M., Burget L., Cernocky J., Khudanpur S. Recurrent neural network based language model // Proceedings of Interspeech. 2010.
  4. Mikolov T., Kombrink S., Burget L., Cernocky J., Khudanpur S. Extensions of recurrent neural network language model // Proceedings of ICASSP. 2011.
  5. Recht B., Re C., Wright S., Niu F. Hogwild: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent // Advances in Neural Information Processing Systems. 24. 2011. Р. 693-701.
  6. Rosenfeld R. Adaptive Statistical Language Modeling: A Maximum Entropy Approach. Ph.D. thesis, Carnegie Mellon University. 1994.
  7. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by back-propagating errors // Nature. 1986. 323:533.536.
  8. Stolcke A. SRILM - An Extensible Language Modeling Toolkit // Proc. Intl. Conf. on Spoken Language Processing. 2002. V. 2. P. 901-904.