ИИ научился делать цветные снимки лиц в темноте

Специально разработанный алгоритм позволяет реконструировать цвет изображений, снятых за пределами видимого человеком диапазона электромагнитного излучения. Пока его применение ограничено снимками лиц.

В неполной темноте

В Университете Ирвина (США) разработана система для камер, которая может получать полноцветные изображения даже почти в полной темноте. Секрет, в сущности, прост: камера снимает в инфракрасном диапазоне, а затем система искусственного интеллекта преобразует изображение в цветное — так, как его видел бы человеческий глаз.

Человек способен видеть в относительно узком диапазоне волн — от 300 до 700 нанометров. Диапазон более 700 нанометров относится к инфракрасной области; человеку она доступна только с помощью специальных технических средств. Инфракрасные камеры широко распространены, но, как правило, снимать они могут только чёрно-белые изображения.

Исследователи из Университета Ирвина снабдили свою систему алгоритмом искусственного интеллекта, который «раскрашивает» чёрно-белое изображение, полученное с инфракрасной камеры.

Система ИИ позволяет получать цветные снимки лиц в темноте

Алгоритм был обучен на основе изображений, сделанных чёрно-белой камерой, чувствительной и к видимому спектру, и к области, близкой к инфракрасной. Этот набор изображений состоял из фотографий лиц, сделанных при освещении с разной длиной волн, в том числе в красном свете (604 нм), зелёном (529 нм), синем (447 нм), а также в инфракрасном диапазоне при длинах волн 718, 777 и 807 нм.

«Обычные камеры формируют видимые для человеческого глаза изображения из синих, зелёных и красных пикселей. Мы решили проверить, можно ли комбинацию инфракрасных иллюминентов, полученных в красном и околоинфракрасном диапазоне, обработать с использованием систем глубокого обучения, чтобы реконструировать изображение так, будто бы оно было создано при свете видимого спектра. Мы создали контролируемый визуальный контекст с ограниченным количеством пигментов, чтобы проверить нашу гипотезу относительно способности алгоритма глубинного обучения воссоздавать в видимом для человека диапазоне сцены, снятые в околоинфракрасном освещении и для человеческого глаза невидимые».

Пояснили исследователи

Первый шаг

Исследователям удалось настроить сверточную нейросеть так, чтобы она предсказывала изображения видимого спектра на основе информации, полученной только в околоинфракрасном диапазоне. Представленное исследование его авторы называют только первым шагом.

«Для реконструкции цветовой информации из отдельных изображений или комбинации снимков, сделанных в разных диапазонах волн, мы оценивали результативность следующих архитектур: базовой линейной регрессии, свёрточной нейронной сети, аналогичной U-Net и U-Net-GAN, сети, усиленной состязательными потерями»

Пояснили исследователи

Система позволяет довольно эффективно воспроизводить в цвете изображения лиц, снятых в невидимом для человека спектре, но только лицами её результативность пока и ограничивается. Однако эксперты надеются, что со временем машину можно будет натренировать на любые разновидности изображений.

«Говорить о практической применимости данной системы преждевременно. Думаю, коммерческие реализации появятся лишь через относительно продолжительное время и поначалу будут иметь довольно ограниченную эффективность и сферу применения. Сам подход выглядит перспективным, по крайней мере, но применяться он будет, скорее всего, только в каких-то узкоспецифических областях».

Считает Алексей Водясов, технический директор компании SEQ
По материалам CNews

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *