bsuirДоклады БГУИРDoklady BGUIR1729-76482708-0382БГУИР10.35596/1729-7648-2026-24-1-75-82bsuir-4301Research ArticleСтатьиНейронная сеть на основе сверточных, рекуррентных слоев и механизма внимания для визуального распознавания речиNeural Network Based on Convolutional, Recurrent Layers and an Attention Mechanism for Visual Speech RecognitionМакарД. А.MakarD.

асп. каф. электронных вычислительных средств

Минск

Darya Makar - Postgraduate of the Electronic Computing Facilities Department

Minsk 

ВашкевичМ. И.VashkevichM.

Вашкевич Максим Иосифович - д-р техн. наук, проф. каф. элект­ронных вычислительных средств

220013, Минск, ул. П. Бровки, 6

Тел.: +375 17 293-84-20 

Vashkevich Maxim -Dr. Sci. (Tech.), Professor at the Elect­ronic Computing Facilities Department

220013, Minsk, P. Brovki St., 6

Tel.: +375 17 293-84-20 

vashkevich@bsuir.byБелорусский государственный университет информатики и радиоэлектроникиBelarusian State University of Informatics and Radioelectronics2026040320262417582Copyright © Макар Д.А., Вашкевич М.И., 20262026Макар Д.А., Вашкевич М.И.Makar D., Vashkevich M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://doklady.bsuir.by/jour/article/view/4301

Визуальное распознавание речи представляет собой задачу классификации произносимых слов или букв по видеопотоку, фиксирующему движения губ. В статье представлены синтез и исследование нейросетевой архитектуры для визуального распознавания речи на основе комбинации сверточных и рекуррентных нейронных сетей с механизмом внимания. Обучение и оценка модели проводились на базе данных AVLetters2 в наиболее сложном дикторонезависимом режиме. Архитектура модели включает кодировщик на основе сверточных слоев для извлечения пространственных признаков, рекуррентные слои на основе блоков GRU для моделирования временных зависимостей и механизм внимания для выделения информативных фрагментов речевой последовательности. Для оценки точности модели проведена пятикратная перекрестная проверка. Подбор гиперпараметров модели осуществлялся на основе байесовской оптимизации, позволившей определить оптимальную конфигурацию параметров модели и процесса обучения. В результате проведенных экспериментов достигнута средняя точность распознавания 14,3 %. Анализ результатов выявил значительную вариативность качества распознавания в зависимости от характеристик дикторов (точность составила от 3,9 до 31,9 %), что указывает на необходимость дальнейшего повышения инвариантности модели к междикторским различиям.

Visual speech recognition is the task of classifying spoken words or letters from a video stream capturing lip movements. This paper presents the synthesis and study of a neural network architecture for visual speech recognition based on a combination of convolutional and recurrent neural networks with an attention mechanism. The model was trained and evaluated on the AVLetters2 dataset in the most challenging speakerindependent mode. The model architecture includes an encoder based on convolutional layers for extracting spatial features, recurrent layers based on GRU units for modeling temporal dependencies, and an attention mechanism for highlighting informative fragments of the speech sequence. To assess the accuracy of the model, five-fold cross-validation was performed. Model hyperparameters were selected using Bayesian optimization, which allowed us to determine the optimal configuration of the model parameters and the training process. As a result of the experiments, an average recognition accuracy of 14.3 % was achieved. Analysis of the results revealed signi­ ficant variability in recognition quality depending on the characteristics of the speakers (accuracy ranged from 3.9 to 31.9 %), which indicates the need to further improve the invariance of the model to inter-speaker differences.

визуальное распознавание речиAVLetters2сверточная нейронная сетьрекуррентная нейронная сетьмеханизм вниманияvisual speech recognitionAVLetters2convolutional neural networkrecurrent neural networkattention mechanismReferencesThe Challenge of Multispeaker Lip-Reading / S. Cox [et al.] // International Conference on Auditory-Visual Speech Processing. 2008. P. 179–184.Cox S., Harvey R., Lan Y., Newman J. L., Theobald B.-J. (2008) The Challenge of Multispeaker Lip-Reading. International Conference on Auditory-Visual Speech Processing. 179–184.Extraction of Visual Features for Lipreading / I. Matthews [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002. Vol. 24, No 2. P. 198–213.Matthews I., Cootes T. F., Bangham J. A., Cox S., Harvey R. (2002) Extraction of Visual Features for Liprea­ ding. IEEE Transactions on Pattern Analysis and Machine Intelligence. 24 (2). 198–213.Николенко, С. Глубокое обучение. Погружение в мир нейронных сетей / С. Николенко, A. Кадурин, E. Архангельская. СПб.: Питер, 2020.Nikolenko S., Kadurin A., Arkhangelskaya E. (2020) Deep Learning: A Dive into the World of Neural Networks. St. Petersburg, Piter Publ. (in Russian).Lip Reading Sentences in the Wild / S. J. Chung [et al.] // Conference on Computer Vision and Pattern Recognition. 2017. https://doi.org/10.48550/arXiv.1611.05358.Chung S. J., Senior A., Vinyals O., Zisserman A. (2017) Lip Reading Sentences in the Wild. Computer Vision and Pattern Recognition. https://doi.org/10.48550/arXiv.1611.05358.Cheng, J. Long Short-Term Memory-Networks for Machine Reading / J. Cheng, L. Dong, M. Lapata // EMNLP 2016 Conference. https://doi.org/10.48550/arXiv.1601.06733.Cheng J., Dong L., Lapata M. (2016) Long Short-Term Memory-Networks for Machine Reading. EMNLP 2016 Conference. https://doi.org/10.48550/arXiv.1601.06733.Pei, Y. Unsupervised Random Forest Manifold Alignment for Lipreading / Y. Pei, T.-K. Kim, H. Zha // IEEE International Conference on Computer Vision. 2013. P. 129–136.Pei Y., Kim T.-K., Zha H. (2013) Unsupervised Random Forest Manifold Alignment for Lipreading. IEEE International Conference on Computer Vision. 129–136.End-to-End Visual Speech Recognition for Small-Scale Datasets / S. Petridis [et al.] // Pattern Recognition Letters. 2020. P. 131, 421–427. https://doi.org/10.48550/arXiv.1904.01954.Petridis S., Wang Y., Ma P., Li Z., Pantic M. (2020) End-to-End Visual Speech Recognition for Small-Scale Datasets. Pattern Recognition Letters. 131, 421–427. https://doi.org/10.48550/arXiv.1904.01954.

The authors declare that there are no conflicts of interest present.