Ограничения в программном обеспечении, используемом для создания глубоких подделок, означают, что многие из них не очень хорошо воссоздают вид профиля, согласно новому анализу, проведённому создателем аватаров Metaphysic.
Компания поделилась своими выводами в статье, в которой рассматриваются некоторые уязвимости биометрии лица в отношении глубоких подделок видео.
Во время тестирования Metaphysic artists работали с Бобом Дойлом (Bob Doyle), ведущим YouTube-шоу о замене лиц и технологии deepfake, который использовал DeepFaceLive (программное обеспечение DeepFaceLab для прямой трансляции), чтобы изменить свою внешность на внешность некоторых знаменитостей.
Результаты большинства тестов показали, что воссоздания были достаточно убедительными даже при достаточно острых углах. Однако когда угол наклона лица достигал 90 градусов, изображение искажалось, показывая уязвимость алгоритма.
«Очевидно также, что реальные линии профиля Боба полностью выдерживают процесс глубокой подделки для всех этих моделей»
Пишет Metaphysic
По словам инсайдеров ИИ, эти ограничения связаны с тем фактом, что Facial Alignment Network, программное обеспечение, обычно используемое для оценки позы лица на изображениях в deepfakes, ненадёжно работает под острыми углами.
«Фактически, большинство алгоритмов выравнивания лица на основе 2D-технологий переносят только 50-60% от числа ориентиров с фронтального вида лица на вид в профиль»
Говорится в статье
Кроме того, исследования показывают, что пакеты 2D-выравнивания, используемые при создании deepfake, считают вид профиля скрытым на 50%. Этот угол не только затрудняет распознавание, но и негативно влияет на точное обучение и последующее синтезирование лица.
«По этой причине, несмотря на ручное вмешательство и различные процессы очистки, которые могут быть использованы, снимки профиля, скорее всего, будут менее согласованы во времени, чем большинство кадров в извлеченных видео».
В метафизическом анализе также упоминается общая нехватка снимков профиля для обучения глубоким подделкам.
Показательный пример: самые убедительные глубокие подделки, созданные на сегодняшний день, – это подделки кинозвёзд, у которых есть сотни часов отснятого материала и бесчисленные снимки профиля, доступные для обучения ИИ.
Обнаружение живучести и боковые виды
Несмотря на это, утверждает Metaphysic, многие фирмы, занимающиеся разработкой биометрического программного обеспечения, не просят пользователей поворачиваться на 90 градусов от камеры в рамках процесса проверки на живучесть.
Sensity – одна из таких компаний, у которой в рамках исследования было взято интервью у Metaphysic.
«Боковой обзор лиц людей, когда он используется в качестве формы проверки личности, действительно может обеспечить некоторую дополнительную защиту от глубоких подделок», – сказал генеральный директор Sensity Джорджио Патрини (Giorgio Patrini) в интервью Metaphysic.
«Как уже отмечалось, отсутствие широко доступных данных о просмотре профиля делает обучение детекторов глубоких подделок очень сложным».
В то же время Патрини согласился с тем, что запрос просмотров профиля в качестве меры защиты от глубокой подделки во время звонков по видеоконференцсвязи может работать как метод защиты от подмены.
«Действительно, один из советов по обнаружению глубоких подделок «на глаз» сегодня заключается в том, чтобы проверить, можно ли обнаружить артефакты лица или мерцание, когда человек полностью поворачивается в профиль — где более вероятно, что детектор лицевых ориентиров вышел бы из строя».
Согласно статье Metaphysic, другим способом создания критической ситуации для модели deepfake было бы попросить видеозвонящего помахать руками перед лицом.
«[Модель], скорее всего, продемонстрирует плохую задержку и качество наложения на глубоко подделанное лицо».
Синтез данных профиля
В отсутствие достаточного количества реальных данных для обучения глубоким подделкам исследователи обратились к синтетическим данным.
Компания Metaphysic упомянула исследовательскую работу под названием «Dual-Generator Face Reenactment», опубликованную Университетом Тайбэя ранее в этом году.
Примечательно, что большинство прилагаемых к статье примеров останавливаются примерно на 80 градусах, и очень немногие изображают изображения профиля под углом 90 градусов.
«Это всего лишь несколько градусов, но, похоже, это имеет большое значение, и достижение этой цели надёжно и аутентично стало бы немаловажной вехой для потоковой системы deepfake или моделей, которые её поддерживают»
Пишет Metaphysic
Улучшением этой технологии является InstantNeRF от Nvidia, но, согласно Metaphysic, «разрешение, точность выражения и мобильность остаются основными проблемами для выводов с высоким разрешением».
Метафизический анализ завершается упоминанием недавнего предупреждения ФБР о потенциальном мошенничестве с deepfake в прямом эфире и о том, как исследовательскому сообществу и его усилиям мешает тот факт, что они не могут взаимодействовать с материалами, которые они расследуют.
Появляется всё больше решений, которые могут быть применены в качестве уровня безопасности при видеозвонках, – говорится в статье.
Среди других подходов – измерение освещенности монитора, встраивание в систему обнаружения граней известного и надежного видео, сравнение потенциально глубоко подделанного видеоконтента с известными биометрическими признаками.
По материалам Biometrics Research Group. Автор Alessandro Mascellino
