Обнаружение глубоких подделок было одной из основных тем, исследованных на семинаре Европейской ассоциации биометрии по манипулированию лицами. Изменение лица и синтетические личности были другими основными типами угроз, обсуждавшимися в ходе мероприятия.
На семинаре EAB были рассмотрены подходы к обнаружению глубоких подделок от частоты сердечных сокращений до легких.
Серьезное внимание к deepfake началось с того, что Павел Коршунов из Idiap проанализировал угрозу, которую они представляют как для людей, так и для автоматизированных систем.
Коршунов привёл примеры недавних глубоких подделок и рассмотрел базы данных глубоких подделок, доступные учёным, работающим над их обнаружением.
Он изучил утверждения о том, как люди воспринимают deepfake, с помощью целого ряда видеороликов deepfake, от тех, на которых изображены люди с «расплавленными лицами», до очень трудноразличимых подделок. Процент людей, способных правильно идентифицировать подделки в категории «очень легко», был близок к 100%, но даже в категории «легко» более 20% тех, кого спросили, были ли видео поддельными, были уверены в неправильном ответе.
Что касается категории «очень сложно», то почти четверть респондентов уверенно дали правильный ответ. Примерно 7 из десяти респондентов были одновременно уверены и ошибались.
Настоящие видео в основном идентифицировались как таковые, но не так последовательно, как в случае с очень низкокачественными подделками.
Затем Коршунов проанализировал доступные алгоритмы и обнаружил, что обучающий набор данных имеет большее значение, чем конкретная модель. Две модели, обученные на Celeb-DF, совершенно не смогли обнаружить видео deepfake. Те же самые модели были более успешными при обучении с помощью Google, но не смогли обнаружить много глубоких подделок в категории «очень легко».
Затем он перешёл к вопросу о том, как можно улучшить обобщение, хорошо известную проблему обнаружения глубоких подделок. Сбор данных показал некоторые перспективы в этом отношении, как и «обучение на нескольких снимках» и обучение атрибуции.
По материалам Biometrics Research Group. Автор Chris Burt
