Игра на опережение: методы выявления дипфейков

Дипфейки создаются при помощи метода глубокого обучения, известного как генеративно-состязательная сеть (GAN). Его суть заключается в соревновании двух нейросетей: генератора и дискриминатора. Генератор создает подделку, а дискриминатор пытается понять, настоящее перед ним изображение или нет. Чем лучше обманывает генератор, тем выше конечный результат.

Первые созданные GAN изображения отличались довольно низким разрешением. По размытости картинки можно было легко идентифицировать запись как сгенерированную. Это ограничение было преодолено в версии ProGAN, благодаря которой разрешение подскочило до 1024×1024 пикселей.

Другая модель — StyleGAN — научилась создавать лица несуществующих людей. Нейросеть обучилась на библиотеке реальных фотопортретов и стала сама генерировать фотографические изображения лиц.

Насколько высоки результаты в генерации новых лиц, можно убедиться на примере картинки ниже. Только на одной из трех фотографий изображена реальная девушка. Она посередине.

Как распознать подделку?

Точность и высокое качество дипфейков привели к росту недоверия пользователей Сети к видеоконтенту. Однако при более внимательном рассмотрении в некоторых роликах заметны цифровые артефакты — недостатки, которые выдают имитацию. Для обоих поколений дипфейков (ранних недостаточно реалистичных и поздних гиперреалистичных) выявление артефактов происходит по одним и тем же участкам лица. Ученые из Университета Эрлангена–Нюрнберга описали возможные ограничения в своей статье. Ученые пришли к выводу, что недостатки сгенерированных изображений, которые выдают подделку, постоянно повторяются.

DeepFake

Для дипфейков наиболее уязвимыми считаются глаза и зубы. Часто, блики в глазах либо отсутствуют, либо кажутся упрощенными. Этот артефакт делает глаза тусклыми. Другой недостаток — это непрорисованные зубы. Иногда они вообще не моделируются, а выглядят как отдельное белое пятно.

Детекторы сердцебиения

Алгоритмы способны считывать сердцебиение с помощью видеоизображений. Они имеют множество приложений, помимо обнаружения дипфейков, но поиск периодических движений и изменений цвета, которые сигнализируют о частоте сердечных сокращений, может помочь идентифицировать созданных самозванцев.

Несуществующие лица

Часто у сгенерированных моделей не совпадает цвет левого и правого глаза. В природе явление гетерохромии встречается весьма редко, поэтому смешанные или отличающиеся цвету глаза могут стать сигналом для опознания дипфейка. Также стоит иметь в виду, что расстояние от центра глаза до края радужной оболочки должно быть одинаковым для обоих глаз. Кроме того, ожидается, что оба лимба будут иметь правильный округлый контур. Обнаруженные артефакты проиллюстрированы на картинках ниже.

Face2Face

Для данного метода показательны границы лица и кончик носа. Неточное наложение маски приводит к артефактам затемнения, когда, например, одна сторона носа может казаться темнее другой. При этом контуры маски резко отделяются: это хорошо видно внизу лица и над бровями. Элементы, которые частично закрывают части лица (например, пряди волос). Изображения этих зон моделируются неправильно и могут привести к образованию «дыр».

Текущая ситуация

Второе поколение дипфейков сглаживают многие артефакты, которые теперь различимы преимущественно машиной. Выявляемые недочеты устраняются моментально. Когда в 2018 году разработчики обнаружили, что сгенерированные персонажи странно моргают — делают это редко или не закрывают глаза вообще, то следующие усовершенствованные модели устранили этот недостаток.

Исследования показали, что детекторы дипфейков не всегда справляются с выявлением подделок. Если дипфейки первого поколения выявляются с вероятностью 100%, то в случае второго поколения диапазон ошибки составляет от 15 до 30%. Основной подсказкой для обнаружения дипфейков по-прежнему остаются глаза.

В 2020 году Калифорнийский и Стэндфордский университеты смогли повысить точность выявления дипфейков до 97%. Достичь такого результата помогли виземы и фонемы.

Виземы и фонемы не имеют однозначного соответствия. Часто несколько фонем соответствуют одной виземе, так как несколько фонем выглядят одинаково на лице при воспроизведении, например / k, ɡ, ŋ / , (визема: / k /), / t͡ʃ, ʃ, d͡ʒ, ʒ / (viseme : / ch /), / t, d, n, l / (визема: / t /) и / p, b, m / (визема: / p /). Однако могут быть различия во времени и продолжительности реальной речи с точки зрения визуальной «сигнатуры» данного жеста, которую невозможно запечатлеть с помощью одной фотографии. И наоборот, некоторые звуки, которые трудно различить акустически, четко различимы по лицу.

Другой способ выявления обмана заключается в том, что у реального и поддельного видео отличается «шумит» матрицы. Шум в реальном видео несколько иной, чем в воспроизводимом, и часто это удается выявить.

Последний инновационный метод обнаружения дипфейков оказался очень простым: эксперты сравнивают свет, отраженный в роговицах. На фотографии реального человека, сделанной камерой, отражение в двух глазах будет примерно одинаковым, потому что они видят одно и то же. Изображения, сгенерированные GAN, обычно не могут точно передать это сходство.

Примеры реальных (сверху) и поддельных (снизу) изображений глаз
Shu Hu et al. / arXiv.org, 2020

Эффективность такого выявления подделок составила 94%. Правда, возможно, и этот артефакт будет преодолен следующими моделями.

Для проверки, что перед вами живой человек, существует несколько методов.

Пассивные методы проверки на витальность

Нет взаимодействия пользователя с системой. Наиболее эффективно, так как мошенник не знает, что от него ожидают.

Для лица

Текстурный анализ
Эффект муара
Оценка бликов
Цветовая палитра
Микродвижения
Полное соответствие эталону

Для голоса

Резкая смена акустической обстановки (реверберация, отношение сигнал/шум, спектр)
Резкое изменение интонации
Полное совпадение биометрического отпечатка с эталоном

Активные методы проверки на витальность

Есть взаимодействие пользователя с системой. Эффективна в том случае, если это взаимодействие не поддаётся прогнозированию.