В браузере «Яндекса» появилась функция синхронного перевода прямых эфиров. Пока что функция работает только на YouTube и лишь на нескольких каналов, но разработчики трудятся над её развитием. В планы входит реализация поддержки различных стриминговых платформ. Сервис доступен исключительно в «Яндекс браузере» для настольных ПК.
Иностранные языки можно не учить
Представители «Яндекса» сообщили о запуске нового сервиса синхронного перевода прямых онлайн-трансляций. Он позволяет смотреть прямые эфиры на иностранных каналах и понимать, о чём в них говорится, не зная ни единого слова на оригинальном языке трансляции.
На момент публикации материала новый сервис «Яндекса» работал в режиме бета-тестирования, но, при этом открытого. Это означает, что любой пользователь может испытать его возможности. В этом плане есть лишь одно ограничение – функция работает исключительно в «Яндекс браузере» версии 22.7.2 или новее для Windows и macOS. Сторонние обозреватели, как и мобильная версия браузера «Яндекс», пока не поддерживаются.
На вопрос о сроках завершения бета-тестирования представители «Яндекса» ответили: «Как долго продлится открытое бета-тестирование на этом этапе сложно сказать, это достаточно непредсказуемый процесс. Сейчас наша задача – понять, как технология работает “в бою”».
Как всё устроено
В основе нового сервиса «Яндекса» лежит та же нейросеть, которая используется для перевода заранее записанных онлайн-роликов.
Для перевода именно прямых трансляций разработчикам пришлось существенно модернизировать свою нейросеть. «В случае с записанными роликами нейросеть получает всю аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу, – сообщили представители «Яндекса». – Работа с переводом прямой трансляции строится совершенно иначе: одна нейросеть распознаёт аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Но самое сложное – это следующий этап. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты – части, которые содержат законченную мысль. Именно их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Всё впереди
На момент запуска сервиса «Яндекса» по синхронному переводу веб-трансляций он поддерживал исключительно прямые эфиры на YouTube. Представители «Яндекса» сообщили, что в их планы входит обучение сервиса работе с другими стриминговыми площадками, включая очень популярную среди геймеров Twitch, но не уточнили, когда именно следует ожидать этих нововведений. «Мы планируем запустить перевод стримов и платформе Twitch, но это требует много времени на разработку. Это произойдёт не раньше следующего года», – сказали в «Яндексе».
В настоящее время нейросеть «Яндекса» наряду с английским поддерживает ещё несколько основных языков мира. Это итальянский, испанский, немецкий и французский. В обозримом будущем появится поддержка ещё нескольких европейский языков, плюс разработчики смотрят и в сторону Азии – нейросеть будет обучена переводу как минимум с китайского и японского языков. Сроки реализации этих планов представители «Яндекса» раскрыли. «Скоро мы начнём тестировать новые пары языков (азиатские), но пока не можем точно сказать, когда они будут доступны для всех пользователей», – сказали они.
Также следует отметить наличие ограничений на количество поддерживаемых каналов. В настоящее время нельзя подключиться к прямому эфиру начинающего и пока никому неизвестного иностранного стримера и тут же получить синхронный перевод его речи.
Пока что новый сервис «Яндекса» работает с 17 каналами, в основном американскими или английскими. Они разделены на категории «Интервью со звёздами», «Технологии», «Бизнес», «Обучение», «Космос», и Gaming News.
Симбиоз сервисов «Яндекса»
Сам по себе новый сервис можно считать новым поколением знакомого многим «Яндекс переводчика». Этот проект существует с 2011 г. 11 лет назад он понимал только русский, украинский и английский языки, теперь же в его «портфолио» свыше 90 языков мира.
В возрасте пяти лет «Переводчик» освоил навык по распознаванию текста на картинках при помощи компьютерного зрения. В апреле 2021 г. «Яндекс» интегрировал эту функцию в собственный браузер.
Сам браузер «Яндекса» недавно отметил своё десятилетие. Его премьера состоялась 1 октября 2012 г. За эти годы он стал вторым по популярности в России – в июле 2022 г. его доля российского рынка составляла 16,28% против 55,9% у Google Chrome (данные StatCounter). Позади него находились Apple Safari (10,43%), Opera (6,99%) и Firefox (4,62%).
По материалам cNews
