Компания Nvidia представила систему на базе технологий искусственного интеллекта GauGAN2 (преемник первой модели GauGAN), позволяющую создавать правдоподобные фотографии несуществующих пейзажей. С помощью таких техник, как сегментированное картирование, ретушь и преобразование текста в изображение, GauGAN2 способна создавать реалистичные изображения на основе текста и набросков от руки.
«По сравнению с другими актуальными моделями, в особенности для преобразования текста в изображение или сегментов карт в изображение, лежащая в основе GauGAN2 нейронная сеть производит более разнообразные и качественные изображения. Вместо прорисовки каждого элемента воображаемого изображения, пользователи могут просто ввести короткую фразу и сгенерировать его ключевые особенности и сюжет наподобие заснеженного горного хребта. Эту стартовую заготовку потом можно дорисовать, сделав ту или иную гору выше и добавив деревья на заднем плане или облака в небе»
Сообщила участница команды Nvidia Иша Салиан (Isha Salian)
GauGAN2 является улучшенной версией системы GauGAN, созданной в 2019 году и обученной на более миллиона открытых изображений с платформы Flickr. Как и GauGAN, GauGAN2 понимает взаимосвязи между объектами, такими как снег, деревья, вода, цветы, кусты, холмы и горы и «осознает», что тип осадков меняется в зависимости от времени года.
И GauGAN, и GauGAN2 представляют собой генеративно-состязательную сеть (generative adversarial network, GAN), состоящую из генератора и дискриминатора. Генератор берет образцы (изображения с сопроводительным текстом) и предполагает, какие данные (слова) соответствуют другим данным (элементам пейзажа). Генератор обучен путем обмана дискриминатора, который оценивает, соответствуют ли эти предположения истине. Хотя переходы GAN обычно имеют низкое качество, они улучшаются с помощью ответной реакции дискриминатора.
В отличие от GauGAN, GauGAN2 обучена на 10 млн изображений и способна переводить речевые описания в изображения пейзажей. Если ввести текст наподобие «закат на пляже», сеть сгенерирует соответствующее изображение, а если расширить фразу до «закат на каменистом пляже» или заменить «закат» на «полдень» или «дождливый день», в изображении появятся соответствующие изменения.
С помощью GauGAN2 пользователи могут генерировать сегментированные карты – высокоуровневые эскизы, показывающие расположение объектов на изображении. Этот эскиз затем можно превратить в рисунок, добавив в него грубые наброски с помощью маркировки «небо», «дерево», «камень» и «река» или дорисовки вручную с помощью инструмента «кисть».
По утверждению Nvidia, начальная версия GauGAN уже используется для создания концепт-арта для кинофильмов и видеоигр. Как и в случае с GauGAN, компания планирует выложить код GauGAN2 на GitHub вместе с интерактивной демонстрацией на Playground – web-хабе для исследований искусственного интеллекта Nvidia и глубокого обучения.
В конце ноября 2021 года группа исследователей компьютерного зрения из Школы компьютерных наук имени Блаватника при Университете Тель-Авива модифицировала нейросеть для генерации лиц людей StyleGAN2 и выпустила открытое программное обеспечение для редактирования фотографий. Решение получило название HyperStyle.
HyperStyle предназначено для изменения внешности и возраста запечатленных на снимках людей, а также решение стилизует разные изображения благодаря специальных фильтров, например, как в популярном мобильном приложении для редактирования фото Prisma.
В начале этого года Nvidia представила генератор для анимации лица по 2D фотографии.
По материалам TAdviser
