Нейросеть определяет поддельные изображения по глазам

Сгенерированные нейросетью изображения выглядят как настоящие. Чтобы распознать подделку, американские учёные создали новый тип ИИ, способный отличить обработанное фото или видео от оригинала. Эффективность инструмента, по заявлению его разработчиков, составляет 94%, но, к сожалению, он срабатывает не во всех случаях.

Как известно, дипфейки создаются путём замены лица одного человека на лицо другого, а мимика воспроизводится с помощью нейросети таким образом, чтобы она соответствовала исходному видео или снимку. Технология очень быстро совершенствуется.

Обнаружить такие подделки очень сложно не только людям, но и алгоритмам. Качество создаваемых дипфейков выросло настолько сильно, что приходится принимать законы, запрещающие их применение, а разработчики проводят конкурсы для защиты от таких алгоритмов.

В документе описана методика, разработанная Сывея Люя (Siwei Lyu) из Университета штата Нью-Йорк в Буффало. Предлагаемый метод выявляет дипфейки, анализируя область роговицы глаз человека, которые способны отображать внешнюю обстановку. Поскольку глаза человека расположены гораздо ближе друг к другу, чем источник света, то на реальной фотографии отражения в обоих глазах будут почти одинаковы, т.е. на реальном снимке отражение в обоих глазах человека идентичны, а синтезированные изображения ещё не могут точно передать это сходство.

Авторы работы создали алгоритм, который автоматически определяет дипфейки по отражениям. Он работает следующим образом:

  • Сначала алгоритм обнаруживает на изображении лицо, размечает на нем ключевые точки и на их основании вырезает область, ограниченную радужной оболочкой.
  • Затем алгоритм бинаризирует это изображение, превращая пиксели с яркостью выше пороговой в черные, а остальные — в белые. В результате образуется два изображения (по одному на глаз) с формой отражений, между которыми рассчитывается схожесть (коэффициент Жаккара).
Примеры реальных (сверху) и поддельных (снизу) изображений глаз
Shu Hu et al. / arXiv.org, 2020

Как правило, «нарисованные» глаза отражают разные геометрические формы или их положение не совпадает. Такое отклонение и обнаруживает искусственный интеллект. Затем генерируется оценка сходства: чем меньше балл, тем больше вероятность, что изображение является дипфейком.

Разработчики оценили работу алгоритма на двух выборках: реальных лицах из датасета Flickr-Faces-HQ и сгенерированных нейросетью StyleGAN2 с сайта This Person Does Not Exist. На графике коэффициента Жаккара явно видно, что распределения реальных и фейковых фотографий значительно отличаются. Также они построили для этих распределений ROC-кривую и показали, что точность классификации (отнесения фотографии к одному из двух типов) составляет 94%.

Распределение коэффициента сходства для реальных и поддельных изображений
Shu Hu et al. / arXiv.org, 2020

К недостаткам предлагаемого инструмента можно отнести то, что при должном старании указанные несоответствия нетрудно исправить с помощью постобработки, а также метод неработоспособен для изображений, где виден только один глаз или лицо не попадает в кадр.

Добавить комментарий

Ваш адрес email не будет опубликован.