Новый Deepfake позволяет редактировать речь говорящего на видео. Так же просто, как в текстовом редакторе!


Технология Deepfake (от deep learning — «глубинное обучение» и fake videos — «поддельные видео») работает на основе алгоритмов с открытым кодом, таких как TensorFlow, и обучается по видео с YouTube. Затем система старается подставить лицо выбранного человека к исходному видео с максимальной реалистичностью.

Алгоритм, разработанный учеными, получил название Neural Rendering. Ему требуется около 40 минут, чтобы изучить мимику говорящего на видео и сопоставить форму его лица с каждым фонетическим слогом.

После этого нейросеть составляет 3D-модель лица говорящего и позволяет редактировать то, что он говорит, изменяя при этом мимику спикера.

Исследователи отмечают, что в идеальном мире разработка позволит сократить затраты на пересъемку неудачный дублей. Однако от идеи опубликовать код нейросети ученые отказались — инженеры полагают, что она может использоваться для подстановки в ролики слов и выражений, которых спикер на самом деле не произносил.

Ранее инженеры из Калифорнийского университета и Университета Британской Колумбии разработали нейросеть, которая позволяет виртуальным персонажам обучаться по видео, на которых двигаются люди, — например, по роликам с YouTube.

По материалам hightech.fm. Автор Олег Сабитов.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *