Компании Facebook и Microsoft подвели итоги Deepfake Detection Challenge — конкурса для разработчиков, который направлен на создание решений для борьбы с технологиями подмены лиц на видео. Разработчикам удалось добиться точности распознавания свыше 82% на стандартном тестовом датасете и чуть больше 65% — на усложнённом датасете: в нем использовались отвлекающие компоненты (например, фильтры или надписи). Подробнее об итогах проекта рассказывается в блоге на сайте Facebook.
Технологии создания дипфейков в последние годы очень быстро развиваются, и вслед за этим появилась необходимость в решениях, которые могут помочь эффективно их распознавать. Помочь в этом решили Facebook и Microsoft: в сентябре прошлого года они анонсировали конкурс для разработчиков Deepfake Detection Challenge, по задумке которого любые сторонние разработчики смогут предложить и создать свою модель, которая сможет определять подмену лиц на видео. Также для разработчиков организаторы пообещали создать датасет, для которого наняли профессиональных актеров: так в нем не будут использоваться пользовательские данные.
Всего в конкурсе приняли участие 2114 разработчиков, которые создали более 35 тысяч моделей. Оценка эффективности алгоритмов проводилась двумя способами: в первом использовался заранее предоставленный разработчикам тестовый датасет, а во втором — закрытый и усложненный (в нем использовались видео с бегущими строками, фильтрами и актерами, которые частично прикрывали лицо). Согласно турнирной таблице на Kaggle, при оценке работы с помощью стандартного тестового датасета победил пользователь под ником Good At Curve Fitting: точность при определении дипфейков с помощью его алгоритма составила 82,56%.
При использовании для проверки закрытого датасета победил белорусский разработчик Селим Сефербеков из компании Mapbox: его алгоритм смог определить дипфейки с точностью 65,18% (при стандартной проверке он также занял четвертое место). На третьем месте, с результатом ненамного хуже, оказалась российская NtechLab, которая специализируется на создании алгоритмов распознавания лиц. Все разработчики, занявшие призовые места, использовали в своих алгоритмах предобученную разновидность сверточной нейросети EfficientNet, которую недавно в своем препринте описали разработчики из Google Research.
Согласно странице проекта на Kaggle, разработчики, занявшие первые пять мест в двух турнирных таблицах, получат на всех миллион долларов на дальнейшие разработки. Также организаторы выложили в открытый доступ датасет, который использовался разработчиками для обучения моделей: в нем около 470 гигабайтов видео: больше информации об особенностях датасета можно прочитать в препринте на сайте Facebook.
Пока алгоритмы для определения дипфейков еще далеки от совершенства, правительства различных стран вводят ограничения на их использование: так, осенью Калифорния запретила использовать подмену лиц в предвыборных роликах, а чуть позже Китай пообещал уголовно наказывать за использование дипфейков без надлежащей маркировки
По материалам nplus1. Автор Елизавета Ивтушок
PS. И небольшое видео о результатах конкурса.
Симпатичный парень, спортивного телосложения.
https://mkala.mk.ru/social/2020/06/14/dagestanec-stal-luchshim-programmistom-mira.html