Карпов А.А., Ронжин А.Л., Лобанов Б.М., Цирульник Л.И., Железны М.

Представлена бимодальная система аудиовизуального распознавания русской речи, которая использует технологии обработки звукового речевого сигнала и компьютерного зрения для автоматического чтения речи по губам говорящего. Объединение визуальной и звуковой модальностей позволяет повысить робастность системы по отношению к шумам и точность работы. Описаны подходы к раннему и позднему объединению модальностей, сбор и обработка многомодального речевого корпуса и условия экспериментов. В ходе экспериментов бимодальная система продемонстрировала точность распознавания слов на 2% выше, чем одномодальная.