Tinkoff.AI Speech Meetup #3

В Тинькофф есть своя платформа голосовых технологий VoiceKit, которая используется не только для оптимизации внутренних процессов компании, но и для запуска продуктов, которыми пользуются миллионы клиентов.

При разработке такой платформы возникают разные задачи: от генерации гипотез и ML-исследований до построения эффективных пайплайнов обработки данных и интеграции моделей в высоконагруженные сервисы. И на каждом этапе мы сталкиваемся со сложными инженерными задачами, находим компромиссы и принимаем архитектурные решения.

На митапе поделимся некоторыми из них и расскажем:

• какие алгоритмы лежат в основе text normalization — важного компонента NLP-пайплайна синтеза речи;
• почему обновление модели, обрабатывающей десятки тысяч часов речи в сутки, — это сложно. Как ускорить релизный цикл, избавить инженеров от рутины и не обвалить продуктовые метрики команд-клиентов;
• как при конвертации голоса добиться максимальной похожести на целевой голос, сохранив всю лингвистическую информацию исходной речи.

Программа митапа:

• 19:00 – 19:40 Структурированная нормализация текста с использованием недетерминированных FST. Владимир Марков. Владимир расскажет про нормализацию текста через конечные автоматы (FST), подчеркивая их роль в обработке текста и синтезе речи. Затронет тему оптимизации FST и принципы построения сложных автоматов для улучшения нормализации. И все это будет на практических примерах. 

• 19:40 – 20:20 Как улучшить похожесть голосов при конвертации голоса. Илья Карпов. Похожесть голоса является одной из важнейших метрик при оценке качества сервиса конвертации голоса. В своем докладе Илья расскажет о том, какие подходы к ее улучшению пробовала команда и каких результатов удалось достичь.

• 20:35 – 21:15 MLOps in Speech Recognition. Александр Мисевич. Разработку высоконагруженного сервиса на базе ML-моделей невозможно представить без MLOps — набора процедур, направленных на последовательное и эффективное внедрение и поддержку ML-моделей, используемых в продакшене. MLOps помогают автоматизировать все процессы жизненного цикла модели машинного обучения: от сбора данных для обучения до мониторинга на продакшене. Позволяют своевременно находить баги, снижая стоимость их исправления, повышают эффективность работы всей команды. В своем докладе Александр расскажет про инструменты MLOps, используемые в Тинькофф при разработке сервиса по распознаванию речи.