Согласно статье группы итальянских и немецких исследователей, опубликованной Unite.AI, и может быть менее «громоздким» методом для того, чтобы обнаружить синтетические артефакты и другие методы.
Основа метода предусматривает использование по меньшей мере десяти подлинных видеозаписей субъекта для обучения биометрической модели, пишут исследователи из Университета Федерико II в Неаполе и Технического университета Мюнхена.
Исследование «Обнаружение глубоких подделок по аудиовизуальным изображениям лиц, представляющих интерес» было опубликовано на Arxive и описывает то, что, по словам авторов, является новым передовым достижением в области обнаружения глубоких подделок. При тестировании на основе хорошо известных наборов данных исследователи улучшили показатели площади под кривой (AUC) на 3 и 10 процентов для точности идентификации подлинных видео высокого и низкого качества соответственно и на 7% для видео с глубокими подделками.
Интересно, что на видео высокого качества наихудшая система обеспечивала точность обнаружения глубоких подделок более 69%.
Этот метод был разработан после того, как исследователи обнаружили, что сегменты движения лица и звука наиболее различимы для каждой личности, используя парадигму контрастного обучения, по сути, выделяя их индивидуальные манеры.
Система «POI-Forensics» сравнивает «высокоуровневые аудиовизуальные биометрические характеристики» и семантические характеристики для обнаружения как одномодальных (визуальных или звуковых), так и мультимодальных манипуляций. По словам исследователей, моделирование этих функций остаётся далеко за пределами возможностей современных deepfake технологий.
Этот метод можно было бы использовать для создания платформы, на которой люди могли бы доказать манипуляции с deepfake видео, сделанных с их изображением.
Unite.AI отмечает, что только на Arxive каждую неделю публикуется несколько нововведений в области обнаружения глубоких подделок.
Однако имитация биометрических данных субъекта обычно не является приоритетной задачей для систем автокодирования или генеративных состязательных сетей (GAN), которые используются для создания deepfake.
Выбор исследователем биометрических данных в качестве инструмента обнаружения может быть не самым эффективным подходом к обнаружению глубоких подделок, поскольку Энн-Катрин Фрейберг из BioID заявила на недавнем вебинаре EAB, что алгоритмы искусственного интеллекта, как правило, эффективны при обнаружении артефактов на изображениях, которые выдают цифровые манипуляции.
По материалам Biometrics Research Group. Автор Chris Burt
