Закадровый синхронный перевод стримов от Яндекс

Для тех, кто не успел стать Intermediate

В сентябре прошлого года команда разработчиков Яндекс презентовала технологию закадрового перевода с английского для YouTube* и других популярных платформ. Мы сильно удивились, что эта новость не звучала из каждого утюга. Сервис в деле зарекомендовал себя блестяще, и я с радостью этим пользовалась, расхолаживая еще больше свою и так хлипкую лингвистическую дисциплину. Единственное, о чем можно было еще мечтать, так это о синхронном переводе, ведь для качественного просмотра трансляций все еще требовался старый добрый лексический запас.

Система, разрабатываемая в течение 10 лет, была способна обработать аудиодорожку к видео и наложить свою озвучку. Перевод занимал несколько минут, ведь алгоритмам приходилось пройти три основных этапа – преобразование звуковой дорожки в текст (или использование титров, если они подходят по качеству), перевод сказанного на русский язык, синтезирование речи для озвучки. Сложно представить себе масштаб проделываемой нейросетью работы, учитывая, что голос выбирается под пол говорящего, интонации и длина фраз совпадают с оригиналом.

Вчера же, уже менее робко, в новостных превью вновь стали мелькать заголовки о закадровом переводе от Яндекс. Только теперь, ура, потоковом! Доступно прослушивание стримов на пяти языках, правда, пока только на нескольких каналах в режиме беты. Для этого разработчикам пришлось значительно перестроить архитектуру алгоритмов перевода.

Человеческий разум способен предсказывать окончание фразы благодаря погружению в контекст и анализируя построение реплик, последовательности речевых конструкций. Примерно это требуется и от языковой модели для достижения качественного практически синхронного перевода. Что же, теперь ждем потоковый перевод для использования в беседе!

Новостью поделилась Мария Храмова, “M” из “M&G”

*Роскомнадзор: сайт www.youtube.com нарушает законодательство РФ