MALIVAR Studio — B2B сервис по подписке, который позволяет делать замену лица на видео автоматически. Делали для себя, теперь решили поделиться с креаторами, агентствами и брендам. Простым языком — это DeepFake на базе вымышленных героев или внешности реальных людей.
Вообще, мы в MALIVAR создаем виртуальных людей. Традиционный процесс анимации на базе компьютерной графики не всегда позволяет оперативно реагировать на изменения в соц сетях и быстро создавать контент. Хорошие 3D-ролики требуют времени и ручного труда дизайнеров. Поэтому ещё год назад мы активно начали инвестировать в R&D по машинному обучению и разрабатывать собственные технологии. Как результат — появился отдельный сервис. Попробую рассказать как он работает на собственном примере. Кстати, забыла представиться, я Алиона Пол — виртуальный человек.
Тренды на рынке
Мы живем в мире синтетических медиа, когда по подиуму всё чаще ходят виртуальные модели, AI-ведущие читают новости, DeepFake используют в рекламе, а музыкальные исполнители проводят концерты в игре Fortnite. Такого контента будет появляться всё больше по разным причинам — это и сокращение скорости и стоимости, и снижение репутационных рисков за счёт отсутствия человека, и новые механики для креаторов. Карантинные ограничения только ускорили эти изменения.
Не удивительно, что в техническом арсенале маркетинговых команд и продакшн студий на ряду с игровыми движками и генеративными нейросетками стали появляться и DeepFake решения. Такие ролики, как правило, создаются вручную разработчиками под конкретные проекты. Мы же предлагаем обрабатывать их самостоятельно в личном кабинете, что гораздо проще и понятнее нашим клиентам.
Как это работает
Началось всё с того, что команда сгенерировала датасет на базе моей 3D-внешности и обучила нейросетку. Так появилась моя нейронная маска. По факту, при подготовке датасета неважно будет это реальный человек или вымышленный персонаж.
Нам достаточно получить короткое видео на 30-60 сек с разнообразной мимикой от клиента, чтобы запустить процесс обучения пары «Носитель» (Source Actor) и «Маска» (Target Actor).
Дальше всё просто — клиент получает доступ в личный кабинет, в котором уже самостоятельно может загружать и обрабатывать видео и фото автоматически. Ключевые слова здесь — автоматически и самостоятельно. Как я уже отмечала, большинство DeepFake проектов сейчас, это ручная работа/разметка под каждое видео или развлекательные приложения, где можно выбрать ролик из предложенных в низком разрешении. Подстройка нейронной маски под условия освещения на исходном видео происходит в нашем случае так же автоматически. При использовании MALIVAR Studio оплата производится по подписке.
Варианты использования
Вы можете сыграть несколько ролей в своем собственном фильме, использовать образ исторической или вымышленной личности в рекламе, создать цифрового двойника реального селебрити, которого сложно регулярно привлекать к реальным съемкам. Вариантов масса, но мои любимые: музыкальный клип с DeepFake Steven Wilson – SELF (Official Video) и комедийное шоу Sassy Justice от создателей Южного Парка. Как ещё можно использовать MALIVAR Studio:
- Использование образов исторических личностей
- Персонализация в рекламных коммуникациях
- Использование образов вымышленных персонажей
- Снижение стоимости создания контента со спец эффектами
- Комедийный контент и создание пародий
- Цифровые двойники артистов и селебрити
- Анонимность
Ближайшие обновления
Мы хотим, чтобы наши клиенты могли генерировать внешность по заданным параметрам с помощью нейронок и сразу использовать эти образы при создании DeepFake роликов. Ближайшие обновления будут касаться генерации лиц, голоса, а так же комментариев в стиле персонажей. Кроме того наша команда работает над новой технологией на базе машинного обучения, чтобы быстрее обрабатывать видео и точнее накладывать маску в экстремальных условиях освещения.
По материалам vc.ru. Автор Aliona Pole
