bsuirДоклады БГУИРDoklady BGUIR1729-76482708-0382БГУИР10.35596/1729-7648-2021-19-6-51-58bsuir-3158Research ArticleЭЛЕКТРОНИКА, РАДИОФИЗИКА, РАДИОТЕХНИКА, ИНФОРМАТИКАELECTRONICS, RADIOPHYSICS, RADIOENGINEERING, INFORMATICSАвтоматическое распознавание и представление текста в виде аудиопотокаAutomatic recognition and representation of text in the form of audio streamСеребрянаяЛ. В.SerebryanayaL. V.

Серебряная Лия Валентиновна, кандидат технических наук, доцент, доцент кафедры программного обеспечения информационных технологий

220013, г. Минск, ул. П. Бровки, 6

Serebryanaya Liya V., PhD, Associate Professor, Associate Professor at the Information Technologies Software Department

220013, Minsk, P. Brovka str., 6

L_silver@mail.ruЛасыйИ. Е.LasyI. E.

Выпускник кафедры программного обеспечения информационных технологий

Минск

Lasy Ilya E., Graduate of the Information Technologies Software Department

Minsk

Белорусский государственный университет информатики и радиоэлектроникиBelarusian State University of Informatics and Radioelectronics2021300920211965158Copyright © Серебряная Л.В., Ласый И.Е., 20212021Серебряная Л.В., Ласый И.Е.Serebryanaya L.V., Lasy I.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://doklady.bsuir.by/jour/article/view/3158

Рассмотрена задача автоматической генерации речи из текстового файла. Выполнен анализ программных средств, предназначенных для распознавания текстов и преобразования их в аудиопоток. Оценены их преимущества и недостатки, на основании чего сделан вывод об актуальности разработки программного средства автоматической генерации аудиопотока из текста на русском языке. Проанализированы модели на основе искусственных нейронных сетей, которые используются для синтеза речи, после чего построена математическая модель создаваемого программного средства. Она состоит из трех компонентов: сверточного кодировщика, сверточного декодировщика и преобразователя. Спроектирована архитектура программного средства, в которую входят графический интерфейс, сервер приложения и система синтеза речи. Разработан ряд алгоритмов: предварительной обработки текста перед загрузкой в программное средство, преобразования аудиофайлов обучающей выборки и обучения сети, генерации речи на основе произвольных текстовых файлов. Создано программное средство, представляющее собой одностраничное приложение и имеющее веб-интерфейс для взаимодействия с пользователем. Для оценки качества работы программного средства использована метрика, представляющая среднюю оценку разных мнений. В результате агрегации разных мнений метрика получила достаточно высокое значение, на основании чего можно считать, что все поставленные задачи были решены.

The problem of automatic speech generation from a text file is considered. An analytical review of the software has been completed. They are designed to recognize texts and convert them to an audio stream. The advantages and disadvantages of software products are estimated. Based on this, a conclusion was drawn about the relevance of developing a software for automatic generation of an audio stream from a text in Russian. Models based on artificial neural networks, which are used for speech synthesis, are analyzed. After that, a mathematical model of the created software is built. It consists of three components: a convolutional encoder, a convolutional decoder, and a transformer. The architecture of the software is designed. It includes a graphical interface, an application server, and a speech synthesis system. A number of algorithms have been developed: preprocessing text before loading it into a software, converting audio files of a training sample and training a network, generating speech based on arbitrary text files. A software has been created, which is a single-page application and has a web interface for interacting with the user. To assess the quality of the software, a metric was used that represents the average score of different opinions. As a result of the aggregation of different opinions, the metric received a sufficiently high value, on the basis of which it can be assumed that all the tasks have been solved.

модель искусственной нейронной сетиаудиопотоккодировщик и декодировщикгенерация речиспектрограммаartificial neural network modelaudio streamencoder and decoderspeech generationspectrogramReferencesГольдберг Й. Нейросетевые методы в обработке естественного языка. Москва: ДМК-Пресс; 2019.Goldberg J. [Neural network methods in natural language processing]. Moscow: DMK-Press; 2019. (In Russ)Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение = Deep Learning. Москва: ДМК-Пресс; 2017.Gudfellou Ya., Bendzhio I., Kurvill' A. [Glubokoye obucheniye = Deep Learning]. Мoscow: DМK-Press; 2017. (In Russ)Николенко С.И., Кадурин А.А., Архангельская Е.О. Глубокое обучение. Санкт-Петербург: Питер; 2018.Nikolenko S.I., Kadurin A.A., Arkhangel'skaya Ye.O. [Deep Learning ]. St. Petersburg: Piter; 2018. (In Russ)Траск Э. Грокаем глубокое обучение. Санкт-Петербург: Питер; 2019.Trask E. [Grokay deep learning]. St. Petersburg: Piter; 2019. (In Russ)Шолле Ф. Глубокое обучение на Python. Санкт-Петербург: Питер; 2018.Scholle F. [Deep Learning in Python]. St. Petersburg: Piter; 2018. (In Russ)Элбон К. Машинное обучение на Python. Сборник рецептов. Санкт-Петербург: BHV; 2019.Elbon K. [Machine learning in Python. Collection of recipes]. St. Petersburg: BHV; 2019. (In Russ)Меле А. Django 2 в примерах. Москва: ДМК-Пресс; 2019.Mele A. [Django 2 in examples]. Moscow: DMK-Press; 2019. (In Russ)Реза Б.З., Рамсундар Б. TensorFlow для глубокого обучения. Санкт-Петербург: BHV; 2019.Reza BZ, Ramsundar B. [TensorFlow for deep learning]. St. Petersburg: BHV; 2019. (In Russ)Ганегедара Т. Обработка естественного языка с TensorFlow. Москва: ДМК-Пресс; 2019.Ganegedara T. [Natural Language Processing with TensorFlow]. Moscow: DMK-Press; 2019. (In Russ)

The authors declare that there are no conflicts of interest present.