Программисты научились менять мимику актеров для дубляжа

Чтение субтитров отвлекает от просмотра и частично перекрывают изображение на экране, поэтому фильмы часто дублируют на другие языки. Но это также может отвлекать от просмотра, когда движения губ актера не совпадают с произносимым текстом. Британская компания Flawless исправила этот недостаток, создав решение на базе искусственного интеллекта, которое изменит лица актеров, чтобы они соответствовали произносимым словам в дублированном фильме.

«TrueSync — это первая в мире система, которая использует искусственный интеллект для создания идеально синхронизированных визуализаций на разных языках»

Считают авторы программы

На официальном сайте Vimeo можно посмотреть ролики, в котором сцены из разных фильмов показаны практически в идеальном переводе. Актеры говорят на французском, немецком или японском языках несмотря на то, что фильмы были сняты на английском.

Представители компании отмечают, что этот программный пакет сохраняет все эмоции актёров в точности, как в оригинале. Система замещает часть лица актера дипфейком, с учётом его оригинальной мимики. Разработанный алгоритм позволяет сохранить актёрскую игру, и для кинозрителя, смотрящего фильм в Берлине, может показаться, что все актеры на самом деле говорят на немецком языке, даже если они снимались в англоязычном фильме.

Но, с обработанными TrueSync клипами все ещё что-то не так. Они не выглядят так естественно, как оригинальные, и отчасти в этом виновата лежащая в их основе технология, которая ещё находится в зачаточном состоянии. Даже такие компании, как Disney, работают над улучшением качества технологии deepfake, чтобы она стала соответствовать требованиям Голливуда.

Использование deepfake для автоматического дублирования фильмов и рекламных роликов обсуждалась давно, и вот теперь компания Flawless предприняла попытку такой реализации. Остаётся совсем немного: обеспечить высокое качество картинки и реализовать возможность генерации голосом актёра произносимого текста на другом языке.

Недавний фильм «Паразиты», получивший премию «Оскар», вызвал дебаты по поводу дублирования иностранного фильма по сравнению с просмотром его с субтитрами. Одна сторона считает, что строка текста над фильмом отвлекает от всего, что происходит на экране. Другая сторона считает, что дубляж, выполненный даже талантливым и опытным чтецом, не может воссоздать эмоции, стоящие за игрой оригинального актера. Важно слышать исходный голос для получения удовольствия от игры актёров.

По материалам Gizmodo.

Добавить комментарий

Ваш адрес email не будет опубликован.