Чтение субтитров отвлекает от просмотра и частично перекрывают изображение на экране, поэтому фильмы часто дублируют на другие языки. Но это также может отвлекать от просмотра, когда движения губ актера не совпадают с произносимым текстом. Британская компания Flawless исправила этот недостаток, создав решение на базе искусственного интеллекта, которое изменит лица актеров, чтобы они соответствовали произносимым словам в дублированном фильме.
«TrueSync — это первая в мире система, которая использует искусственный интеллект для создания идеально синхронизированных визуализаций на разных языках»
Считают авторы программы
На официальном сайте Vimeo можно посмотреть ролики, в котором сцены из разных фильмов показаны практически в идеальном переводе. Актеры говорят на французском, немецком или японском языках несмотря на то, что фильмы были сняты на английском.
Представители компании отмечают, что этот программный пакет сохраняет все эмоции актёров в точности, как в оригинале. Система замещает часть лица актера дипфейком, с учётом его оригинальной мимики. Разработанный алгоритм позволяет сохранить актёрскую игру, и для кинозрителя, смотрящего фильм в Берлине, может показаться, что все актеры на самом деле говорят на немецком языке, даже если они снимались в англоязычном фильме.
Но, с обработанными TrueSync клипами все ещё что-то не так. Они не выглядят так естественно, как оригинальные, и отчасти в этом виновата лежащая в их основе технология, которая ещё находится в зачаточном состоянии. Даже такие компании, как Disney, работают над улучшением качества технологии deepfake, чтобы она стала соответствовать требованиям Голливуда.
Использование deepfake для автоматического дублирования фильмов и рекламных роликов обсуждалась давно, и вот теперь компания Flawless предприняла попытку такой реализации. Остаётся совсем немного: обеспечить высокое качество картинки и реализовать возможность генерации голосом актёра произносимого текста на другом языке.
Недавний фильм «Паразиты», получивший премию «Оскар», вызвал дебаты по поводу дублирования иностранного фильма по сравнению с просмотром его с субтитрами. Одна сторона считает, что строка текста над фильмом отвлекает от всего, что происходит на экране. Другая сторона считает, что дубляж, выполненный даже талантливым и опытным чтецом, не может воссоздать эмоции, стоящие за игрой оригинального актера. Важно слышать исходный голос для получения удовольствия от игры актёров.
По материалам Gizmodo.
