Пока одни исследователи разрабатывают решения для определения эмоций, другие решают обратную задачу: генерация эмоций из статических изображений. Недавно в сети был обнаружен сайт на котором любой желающий может загрузить фотографию для создания короткого видео с различными эмоциями. Пользователь может воспользоваться не только шестью базовыми эмоциями, а выбрать любое из двадцати предлагаемых вариантов. Например, “флирт”, “сарказм” или удивление.
Хотя сам сайт русскоязычный, но название тем для генерации видео предлагается на английском языке. Надеюсь, что в будущем будет выполнена полнофункциональная локализация сайта на русский и английский языки.
Для преобразования статического изображения в видео – сервису необходимо найти на загруженной фотографии лицо. Если это не получается сделать, то перелагается попробовать загрузить другую фотографию. Алгоритм работает только с одним обнаруженным лицом. Если загружен групповой снимок, то алгоритм оставит для преобразования только одно лицо. Вырежет его из загруженной фотографии и генерирует на основе полученного изображения динамическую сцену.
Креативные пользователи стали предлагать алгоритму сгенерировать видео не только из фотографий людей, но также из портретов, созданных художниками в различные эпохи и в различных стилях:
Не проблема для алгоритма анимировать и графический набросок, правда встраиваемые фрагменты выглядят более реалистично, что делает конечный материал жутким.
Не было обнаружено влияние на работу алгоритма рапсовой или гендерной принадлежности.
Любопытство, а как алгоритм отработает, если загрузить фотографию животного, позволило определить, что и с этой задачей алгоритм справляется.
Не является преградой обработка фотографий собак или лошадей, но почему-то алгоритм игнорирует изображения кошачьих или в результате преобразования появляется много артефактов.
Главное условие для его работы – это возможность выделить на изображении объект пригодный для преобразования, похожий, по его мнению, на лицо.
Изначально разработчики сфокусировались на решении проблем рекламы и кинопроизводства: бесшовные замены лиц каскадеров и дублеров, сокращение съемочных смен, омоложение актеров, “оживление” умерших героев и на других аналогичных решениях.
Очень быстро стало понятно, что для реализации и масштабирования таких решений есть несколько барьеров.
- Профессиональный рынок крайне требователен к качеству получаемого результата. Непредсказуемые нейронные сети не позволяет гарантировать безупречное изображение.
- Каждый заказ характерен уникальными требованиями, что требует больших затрат на управление проектом и длинные переговоры по согласованию и правкам.
Почти каждая новая версия iOS или Android сопровождается добавлением эмодзи. Эта тенденция побудила разработчиков поддержать тренд на быстрое и ироничное общение и создали сервис, который за считанные секунды превратит любой портрет в гифку.
Большинство существующих подходов, автоматизирующих анимацию, основываются на глубоком обучении генеративно-состязательных нейросетей (GAN) и вариационных автоэнкодеров (VAE). Данные модели часто базируются на предобученных модулях для поиска ключевых точек объектов на изображении. По этим точкам и происходит генерация. Главная проблема подхода — данные модули способны распознавать только объекты, на которых они были обучены. То есть при попытке показать алгоритму новое изображение мы можем нарваться на непредсказуемый результат.
Говорит Мария Чмир
Разработчикам предстояло решить задачу синтеза произвольных объектов в кадре. В конце февраля этого года ученые из университете Тренто нашли решение этой задачи и описали его в статье First Order Motion Model for Image Animation. В ней описывается модель, которая способна оживлять картинки без предварительного обучения.
На момент публикации, возможность создания видео с различными эмоциями разработчики предоставляют бесплатно.
