Китайские и гонконгские исследователи разработали программное обеспечение, которое они называют DeepFaceDrawing, и это хорошее описание того, что он делает. Нарисуйте лицо от руки так небрежно, как вам хочется, и алгоритм использует его для создания реалистичного синтетического лица.
Проект будет представлен в рамках конференции SIGGRAPH — в этом году она пройдёт онлайн.
DeepFaceDrawing, основа глубокого обучения, анализирует черно-белые растеризованные эскизы, и создает цветные изображения на основе того, что он узнал о человеческих лицах в процессе обучения, согласно новой исследовательской работе, которая не рецензировалась. Исследователи работают в Академии наук Китая и Городском университете Гонконга.
DeepFaceDrawing похожа на аналоги в лице pix2pixHD, Lines2FacePhoto и iSketchNFill и работает по схожему принципу: набросок в виде чёрточек и точек разделяется на базовые компоненты, такие как глаза, нос, рот и т.д., после чего система методом подбора на основе обширной базы данных заменяет их на фрагменты настоящих лиц. В итоге получается качественный фотопортрет.
Приемлемые окончательные изображения могут быть получены с удивительно минималистскими набросками, хотя более детальный рисунок дает изображения с большей детализацией, включая более реалистичный оттенок кожи.
Они предполагают, что наиболее очевидная роль их алгоритма заключается в том, чтобы служить инструментом для художников правоохранительных органов. Авторы пишут, что ранее были предприняты попытки создания реалистичных изображений из эскизов, но для более старого кода требуются либо изображения на кромках, либо линии рисунка того же качества.
Окраска была исключительно решением алгоритма при тестировании, что, по мнению авторов, скорее всего, потребуется изменить.
Алгоритм выбирает черты лица независимо друг от друга, что является преимуществом, если учесть, что естественные лица асимметричны и могут двигаться отдельно, включая брови и веки. Но, по крайней мере, в этот момент авторы осознали, что эта возможность выбора может привести к тому, что функции, которые обычно имеют симметрию, например, радужные оболочки не всегда совпадают.
Однако у программы есть своя фишка — в отличие от конкурентов, для DeepFaceDrawing не имеет никакого значения исходное качество набросков. Софт нестандартно моделирует пространство форм, чтобы получить правдоподобные варианты на основе исходного изображения и выдать максимально реалистичное лицо. Другие программы так делать не умеют, им необходим минимальный набор точных исходных параметров
По материалам Biometrics Research Group. Автор Jim Nash
