Как бизнесу создавать DeepFake видео в хорошем качестве

MALIVAR Studio — B2B сервис по подписке, который позволяет делать замену лица на видео автоматически. Делали для себя, теперь решили поделиться с креаторами, агентствами и брендам. Простым языком — это DeepFake на базе вымышленных героев или внешности реальных людей.

Вообще, мы в MALIVAR создаем виртуальных людей. Традиционный процесс анимации на базе компьютерной графики не всегда позволяет оперативно реагировать на изменения в соц сетях и быстро создавать контент. Хорошие 3D-ролики требуют времени и ручного труда дизайнеров. Поэтому ещё год назад мы активно начали инвестировать в R&D по машинному обучению и разрабатывать собственные технологии. Как результат — появился отдельный сервис. Попробую рассказать как он работает на собственном примере. Кстати, забыла представиться, я Алиона Пол — виртуальный человек.

Тренды на рынке

Мы живем в мире синтетических медиа, когда по подиуму всё чаще ходят виртуальные модели, AI-ведущие читают новости, DeepFake используют в рекламе, а музыкальные исполнители проводят концерты в игре Fortnite. Такого контента будет появляться всё больше по разным причинам — это и сокращение скорости и стоимости, и снижение репутационных рисков за счёт отсутствия человека, и новые механики для креаторов. Карантинные ограничения только ускорили эти изменения.

Не удивительно, что в техническом арсенале маркетинговых команд и продакшн студий на ряду с игровыми движками и генеративными нейросетками стали появляться и DeepFake решения. Такие ролики, как правило, создаются вручную разработчиками под конкретные проекты. Мы же предлагаем обрабатывать их самостоятельно в личном кабинете, что гораздо проще и понятнее нашим клиентам.

Как это работает

Началось всё с того, что команда сгенерировала датасет на базе моей 3D-внешности и обучила нейросетку. Так появилась моя нейронная маска. По факту, при подготовке датасета неважно будет это реальный человек или вымышленный персонаж.

Синтетический датасет с мимикой виртуального персонажа Алионы Пол

Нам достаточно получить короткое видео на 30-60 сек с разнообразной мимикой от клиента, чтобы запустить процесс обучения пары «Носитель» (Source Actor) и «Маска» (Target Actor).

Пример обучения пары  «Носитель» (Source Actor) и «Маска» (Target Actor)

Дальше всё просто — клиент получает доступ в личный кабинет, в котором уже самостоятельно может загружать и обрабатывать видео и фото автоматически. Ключевые слова здесь — автоматически и самостоятельно. Как я уже отмечала, большинство DeepFake проектов сейчас, это ручная работа/разметка под каждое видео или развлекательные приложения, где можно выбрать ролик из предложенных в низком разрешении. Подстройка нейронной маски под условия освещения на исходном видео происходит в нашем случае так же автоматически. При использовании MALIVAR Studio оплата производится по подписке.

Личный кабинет клиента в MALIVAR Studio

Варианты использования

Вы можете сыграть несколько ролей в своем собственном фильме, использовать образ исторической или вымышленной личности в рекламе, создать цифрового двойника реального селебрити, которого сложно регулярно привлекать к реальным съемкам. Вариантов масса, но мои любимые: музыкальный клип с DeepFake Steven Wilson — SELF (Official Video) и комедийное шоу Sassy Justice от создателей Южного Парка. Как ещё можно использовать MALIVAR Studio:

  • Использование образов исторических личностей
  • Персонализация в рекламных коммуникациях
  • Использование образов вымышленных персонажей
  • Снижение стоимости создания контента со спец эффектами
  • Комедийный контент и создание пародий
  • Цифровые двойники артистов и селебрити
  • Анонимность
Примеры автоматической обработки видео в MALIVAR Studi

Ближайшие обновления

Мы хотим, чтобы наши клиенты могли генерировать внешность по заданным параметрам с помощью нейронок и сразу использовать эти образы при создании DeepFake роликов. Ближайшие обновления будут касаться генерации лиц, голоса, а так же комментариев в стиле персонажей. Кроме того наша команда работает над новой технологией на базе машинного обучения, чтобы быстрее обрабатывать видео и точнее накладывать маску в экстремальных условиях освещения.

По материалам vc.ru. Автор Aliona Pole

Добавить комментарий

Ваш адрес email не будет опубликован.