Разработка бимодальной системы аудиовизуального распознавания русской речи
Аннотация
Представлена бимодальная система аудиовизуального распознавания русской речи, которая использует технологии обработки звукового речевого сигнала и компьютерного зрения для автоматического чтения речи по губам говорящего. Объединение визуальной и звуковой модальностей позволяет повысить робастность системы по отношению к шумам и точность работы. Описаны подходы к раннему и позднему объединению модальностей, сбор и обработка многомодального речевого корпуса и условия экспериментов. В ходе экспериментов бимодальная система продемонстрировала точность распознавания слов на 2% выше, чем одномодальная.
Для цитирования
Карпов А.А., Ронжин А.Л., Лобанов Б.М., Цирульник Л.И., Железны М. Разработка бимодальной системы аудиовизуального распознавания русской речи // Информационно-измерительные и управляющие системы. 2008. № 10.