Система распознавания русской речи, использующая глубокие нейронные сети и преобразователи на основе конечных автоматов
- 1 к.ф.-м.н., ст. науч. сотрудник, ФГНУ «НИИ Спецвузавтоматика»
- 2 к.ф.-м.н., доцент, зав. лабораторией, ФГНУ «НИИ Спецвузавтоматика»
- 3 науч. сотрудник, ФГНУ «НИИ Спецвузавтоматика»
Аннотация
Предложено использование глубоких нейронных сетей для распознавания русской речи и для расчета вероятностей состояний. Поиск оптимальной гипотезы выполнен при помощи преобразователей на основе конечных автоматов. Описана процедура обучения глубоких нейронных сетей и метод распознавания речи, использующий преобразователи на основе конечных автоматов. Приведены результаты экспериментов, проведенных на речевой базе данных русского языка. Показано, что предложенный метод позволяет повысить точность распознавания речи по сравнению со скрытыми марковскими моделями.
Для цитирования
Зулкарнеев М.Ю., Репалов С.А., Шамраев Н.Г. Система распознавания русской речи, использующая глубокие нейронные сети и преобразователи на основе конечных автоматов // Нейрокомпьютеры: разработка, применение. 2013. № 10. С. 40–46.
Список источников
- Rabiner L.R. A tutorial on hidden Markov models and selected applications in speech recognition // Proceedings of the IEEE. 1989. V. 77. № 2. P. 257-285.
- Graves A., Fernández S., Schmidhuber J. Bidirectional LSTM Networks for Improved Phoneme Classification and Recognition. Artificial Neural Networks: Formal Models and Their Applications // ICANN 2005. Lecture Notes in Computer Science. 2005. V. 3697. P. 799-804.
- Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. 1997. V. 9. № 8. P. 1735-1780.
- Hinton G., Deng Li, Yu Dong, Dahl G., Mohamed Abdel-rahman, Jaitly Navdeep, Senior A.W., Vanhoucke V., Nguyen P., Sainath T., Kingsbury B. Deep Neural Networks for Acoustic Modeling in Speech Recognition // Signal Processing Magazine. 2012.
- Hinton G.E., Osindero S., Teh Y. A fast learning algorithm for deep belief nets // Neural Computation. 2006. V. 18. P. 1527-1554.
- Young S.J. The HTK Book. Version 3.4. March 2006.
- Hinton G.E. Training products of experts by minimizing contrastive divergence // Neural Computation. 2002. V. 14. № 8. P. 1711-1800.
- Bergstra J., Breuleux O., Bastien F., Lamblin P., Pascanu R., Desjardins G., Turian J., Warde-Farley D., Bengio Y. Theano: A CPU and GPU Math Expression Compiler // Proceedings of the Python for Scientific Computing Conference (SciPy). Austin. June 30-July 3, 2010.
- Allauzen C., Riley M., Schalkwyk J., Skut W., Mohri M. OpenFst: a general and efficient weighted finite-state transducer library // Proceedings of the 12th International Conference on Implementation and Application of Automata. 2007. P. 11-23.
- Зулкарнеев М. Ю., Репалов С. А., Шамраев Н. Г., Эдель Д. А. Исследование нейроподобной d-граммной модели для моделирования русского языка // Нейрокомпьютеры: разработка, применение. 2013. № 4. С. 14.
- Савельев А.В. Общая теория самоорганизационного нейроуправления // Нейрокомпьютеры: разработка, применение. 2013. № 5. С. 3-13.