Исследователи упростили процесс создания дипфейков

Группа китайских и американских исследователей разработала алгоритм создания дипфейков CihaNet, устраняющий проблему маскировки краев при смене лиц. Это делает подделку более реалистичной.

По словам разработчиков, для CihaNet не требуются большие и исчерпывающие наборы данных, а обучение происходит в считанные дни вместо недель.

Например, в эксперименте исследователи использовали два популярных датасета с изображениями знаменитостей и один графический процессор NVIDIA Tesla P40. Такая конфигурация позволила обучить нейросеть реалистично подменивать лица всего за три дня.

Пример подмены лица автора работы на актрису Скарлетт Йоханссон. Данные: Mingcan Xiang

Новый подход устраняет необходимость грубо «вставлять» трансплантированную личность в целевое видео, что часто приводит к характерным артефактам, которые появляются на границах двух лиц. Это позволило избежать дальнейшей постобработки видео, что существенно экономит время и ресурсы, говорится в работе.

Сравнение существующих методов и CihaNet. Данные: Unite.AI.

Для достижения таких результатов исследователи использовали «карту галлюцинаций». По их словам, это позволяет алгоритму определять контекст намного эффективнее и смешивать лица на более глубоком уровне.

Дипфейки, созданные с использованием «карт галлюцинации». Данные: Unite.AI.

Представленная модель, в отличие от метода жесткого наложения масок, может осуществлять подмену лица между двумя фотографиями, сделанными с разных ракурсов.

Метод наложения лиц на фотографии, снятые с разных ракурсов. Данные: Unite.AI.

Исследователи не сообщили о планах выпуска инструмента в публичный доступ.

Чтобы дипфейки получались максимально реалистичными, необходимо подобрать максимально похожий образ. Согласитесь, что мы сами иногда путаем похожих людей. Для создания дипфейк роликов с максимально подходящих по образу героями, израильский стартап платит участникам, чей образ будет использован.

По материалам ForkLog. Автор Богдан Каминский

Добавить комментарий

Ваш адрес email не будет опубликован.