Синхронный перевод прямых трансляций появился в браузере Яндекса

Компания Яндекс стала использовать технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер. В настоящее время новинка тестируется на нескольких каналах, среди них – Apple, Google, TechCrunch, SpaceX, TED и др.

Благодаря технологии синхронный перевод стримов возможен для пяти языков — английского, испанского, итальянского, немецкого, французского. В ближайших планах – тесты азиатских языков. Затем компания намерена переводить потоковые трансляции и видео не только на каналах YouTube, но и в Twitch. В перспективе специалисты добавят  возможность перевода еще с нескольких европейских языков, а также китайский, японский и другие языки.

Как отметили в компании, чтобы запустить перевод трансляций на Twitch, потребуется немало времени. Результат будет предположительно не раньше 2023 года. Чтобы запустить перевод стримов, специалисты перестроили всю архитектуру закадрового перевода. В случае записанных роликов нейросеть имеет дело с целой аудиодорожкой, полным контекстом – такая задача намного проще.

В случае с прямой трансляцией одна нейросеть распознает аудио, превращая его в текст, другая — определяет пол говорящего по биометрическим данным. Третья нейросеть занимается расстановкой знаков препинания и выделением смысловых фрагментов — частей с законченной мыслью. Они забираются еще одной нейросетью, ответственной за перевод, он сразу синтезируется на русском языке.

Для лицензионного контента существуют ограничения. Так, сервис не сделает перевода, например, фильма с платформы Netflix.

Ранее сетевое издание «Учительская газета» сообщало о мнении россиян, что наиболее полезными языками для карьерного роста являются английский и китайский.