FaceShifter: нейросеть заменяет лица на фотографиях


FaceShifter — это двухступенчатый нейросетевой фреймворк для реалистичного переноса лица на изображение человека. Модель устойчива к окклюзии лиц на входных изображениях. Исследователи заявляют, что FaceShifter лучше, чем предыдущие подходы, сохраняют черты целевой личности в сгенерированном изображении.

Предыдущие подходы для подмены лиц использует ограниченную информацию из целевого изображения при генерации подмененного изображения. FaceShifter на первом этапе генерирует подмененное изображение с помощью адаптивного внедрения признаков из целевого изображения. Исследователи представляют новый энкодер атрибутов, который извлекает многоуровневые признаки из изображения целевого лица. Кроме этого, генератор в модели основывается на Adaptive Attentional Denormalization (AAD) слоях. Такая архитектура генератора позволяет адаптивно интегрировать черты целевого лица в итоговое изображение.

Второй этап модель решает проблему частичной окклюзии лица на изображении. На этом этапе обучается нейросеть Heuristic Error Acknowledging Refinement Network (HEAR-Net). Модель обучается восстанавливать нереалистичные части изображения в self-supervised сеттинге. HEAR-Net не требует ручной разметки для обучения.

Что внутри FaceShifter

FaceShifter состоит из двух подсетей:

  1. AEI-Net, которая генерирует изображение целевого лица;
  2. HEAR-Net, которая избавляется от артефактов на сгенерированном изображении

AEI-Net состоит из энкодера личности (Identity Encoder), многоуровневого энкодера атрибутов (Multi-level Attributes Encoder) и генератора (AAD-Generator). AAD-Generator интегрирует информацию о личности и атрибутах на нескольких уровнях с помощью блоков AAD ResBlks. Такие блоки основываются на AAD слоях.

Визуализация первого этапа обучения FaceShifter
Визуализация первого этапа обучения FaceShifter
Визуализация обучения FaceShifter на втором этапе

Тестирование работы модели

Исследователи сравнили фреймворк с state-of-the-art моделями для подмены лица: FaceSwap, Nirkin et al., DeepFakes и IPGAN. Модели тестировали на датасете FaceForensics++. FaceShifter лучше остальных моделей справляется с сохранением формы лица на входном изображении и более точно передает атрибуты целевого изображения. Под атрибутами понимаются освещение и разрешение изображения.

Сравнение FaceShifter с конкурирующими подходами
По материалам neurohive. Автор Анна

Добавить комментарий

Ваш адрес email не будет опубликован.