Чем проверить фото и видео на DeepFake и редактирование

Обзор пяти сервисов для поиска скрытых деталей и ошибок в изображениях, и технологии выявления внесённых изменений в изображения, которые ещё в разработке.

Дипфейки портретов Wired

Forensically

Набор бесплатных инструментов для анализа изображений.

  • «Лупа» позволяет увидеть скрытые детали на фото. Она увеличивает размер пикселей и контрастность.
  • «Детектор клонов» выделяет цветом участки изображения, которые были скопированы.
  • «Анализ уровня ошибок» сравнивает снимок с его сжатой версией. Помогает понять, какую часть изображения изменяли: она может быть темнее или ярче, чем аналогичная область, которой не манипулировали.
  • И другие функции.
Интерфейс Forensically

Image Edited

Сервис бесплатно определяет, были ли изменения в снимке. Если были, сообщает, в каком графическим редакторе их сделали. Сервис анализирует фото на уровне пикселей и их цветов.

В основу сервиса легли алгоритмы анализа: ELA — определение уровня ошибок, и Jpeg% — оценка уровня качества изображения после последнего сохранения.

Пример результата анализа сервиса FixThePhoto

Ghiro

Бесплатная программа с открытым исходным кодом ищет ошибки в изображениях и на их основе выявляет монтаж. Также сравнивает фото с их миниатюрами — если есть разница, сообщает, что снимок изменяли.

Также может извлекать из файлов текстовую информацию, например, URL-адреса. Если находит геотеги и связанную с ними информацию, показывает возможное место снимка на карте.

Интерфейс Ghiro

Deepware

Сервис с открытым исходным кодом бесплатно анализирует видео на дипфейки. Ранее нами публиковался обзор этого приложения.

Экран оценки видео Deepware

KaiCatch

Корейское приложение KaiCatch распознаёт поддельные фото и видео с помощью ИИ — он определяет аномальные искажения лиц с точностью 90%.

Проверить фото или видео стоит около $1,7. Приложение работает только на Android и на корейском языке. В будущем разработчики обещают добавить поддержку английского, китайского и японского языков, а также перенести приложение на iOS.

Интерфейс приложения KaiCatch The Korea Herald

Анонсированные разработки

Разработка Adobe

В 2019 году подразделение Adobe Research вместе с Калифорнийским университетом в Беркли создали функцию Photoshop Face Aware Liquify, в основу которой легла свёрточная нейросеть.

Её обучили на тысячах обработанных ИИ фотографиях из интернета. По оценке Adobe Research, определение фото- и видеомонтажа в экспериментах показал эффективность 99%, в то время как люди смогли распознать лишь 53% подделок.

Выявление изменений на фото с помощью разработки Adobe Research Adobe Blog

К работе над проектом исследователи привлекли художника и попросили его вручную изменить некоторые из изображений. Так в обучение нейросети добавился «элемент человеческого творчества».

Опыты с программой показали, что она может не только выявлять подделки, но и возвращать изменённые снимки в их первоначальное состояние. Однако в открытый доступ разработка пока не вышла.

Это важный шаг в обнаружении определенных типов редактирования изображений. Функция отмены — восстановления оригинального вида — работает на удивление хорошо.

Помимо подобных технологий, лучшей защитой будет искушённая публика. Которая знает: контентом можно манипулировать, часто чтобы доставить им удовольствие, но иногда — чтобы ввести их в заблуждение.

Гэвин Миллер, глава Adobe Research

Microsoft Video Authenticator

В сентябре 2020 года Microsoft создала ПО для борьбы с дипфейками — Video Authenticator. Программа оценивает фото и видео и определяет вероятность монтажа.

Фрагмент оригинального видео и обработанного Oriental Review

Её создали с помощью общедоступного набора изменённых фотографий и видео Face Forensic++ и дополнительно обучили на другом наборе — DeepFake Detection Challenge.

Когда компания выпустит технологию, неизвестно.

Разработка Facebook

В июне 2021 года исследователи Facebook создали ИИ, который может идентифицировать дипфейк-контент и отслеживать его происхождение. Над программой работали специалисты Мичиганского государственного университета.

«Наш метод облегчит поиск подделок, когда сама подделка — единственная информация, с которой приходится работать», — рассказали учёные-исследователи Facebook Си Инь и Тал Хасснер.

По словам Facebook, их программа ищет в фото и видео следы изменений в их цифровых «отпечатках». Распространять программу будут вне Facebook, чтобы облегчить расследования «инцидентов скоординированной дезинформации».

В открытый доступ разработка пока не вышла.

FakeBuster

FakeBuster помогает выявлять дипфейки во время онлайн-конференций и в соцсетях. Разработчики протестировали программу во время звонков в Zoom и Skype.

В основу FakeBuster легла 3D-свёрточная нейросеть, которую обучили на комбинации наборов данных, таких как Deeperforensics, DFDC, VoxCeleb, и неназванных видеороликов. В открытый доступ программа ещё не вышла.

Инициативы по борьбе с дипфейками

В сентябре 2020 года Microsoft предложила крупным медиакомпаниям поддержать инициативу Project Origin. Фирма предлагает маркировать онлайн-контент так, чтобы автоматически находить изменения в оригинальных фотографиях и видео.

Страница Project Origin на сайте Microsoft Microsoft

Реализовать Project Origin специалисты предложили в два этапа:

  • Сначала создать инструмент для загрузки цифровых «отпечатков» в виде сертификатов и значений «хэша» в метаданные медиаконтента.
  • Создать считыватель, чтобы определять в нём сторонние изменения.

Microsoft рассказала, что проверку технологии по «маркировке» контента она планирует провести в сотрудничестве с BBC, The New York Times, Вашингтонским университетом и другими.

По оценке разработчиков, в будущем считыватели цифровых «отпечатков» станут доступны пользователям в виде расширений браузера. Они позволят в проверять подлинность информации и определить источник его происхождения.

По материалам VC. Автор Илья Склюев

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *