Я оживил своего прадеда нейросетями

Про моего прадеда и историю одного бинокля внизу. А вообще я оживляю исторических личностей нейросетками. Пытаюсь применить дипфейк к чему-то полезному. Очень хочу показать вам проект, и как я его делаю. Предложения приветствуются.

Сейчас мы фигачим вчетвером. Я, актёр озвучания, монтажёр и исторический консультант. Суть — выпускать новости синхронно с 1945 годом, опираясь на тогдашнюю прессу. Как если бы в те времена был телеграм-канал.

Давайте я покажу рабочий процесс на конкретном примере.

1) Сначала я нахожу исторические сведения и проверяю их. Сейчас это вот такая статья из газеты «Вечерняя Москва» № 129 (6494) от 4 июня 1945:

Я оживил своего прадеда нейросетями
Короче, в Аргентине на начало июня 1945 — звездец. Цензура, ссылки, аресты.

2) А кто это это у нас такой молодец, кто всё так замечательно устроил? Здесь мне быстро помогла Ира Ульянова, мой исторический консультант. В ответе за ситуацию Хуан Доминго Перон, хороший знакомый Муссолини и, с некоторым оговорками, фашист. Помните, после войны все друзья Гитлера бежали в Аргентину? Так вот это к нему. Например, в Аргентине скрывался Йозеф «Ангел Смерти из Освенцима» Менгеле. Или вот Адольф Эйхман, отвечавший за «окончательное решение еврейского вопроса». Но вернёмся к Перону:

Я оживил своего прадеда нейросетями

3) Читаем биографию, смотрим фото и видео, если сохранились, чтобы достоверно передать мимику.

4) На это месте биографическая справка, фото и прямая речь уходят к актёру озвучания. Обычно. Тут этого не было, но вот вам для ознакомления другой ролик с тогдашним президентом Чехословакии Эдвардом Бенешем:

Если вам кажется, что вы узнали голос, вам не кажется. Это голос Тириона из лостфильмовской «Игры Престолов» — замечательный актёр Анатолий Петров, который ещё озвучивал «Титаник», «Человека Паука», «Автостопом по галактике», «Отель Гранд Будапешт», и так далее, и так далее. Великолепный актёр! Я очень благодарен ему за помощь.

5) Нейросети мои нейросети. В этом проекте их использовано пять. Реставрация фото. Колоризация фото. Чистка фона, чтобы он не двигался вместе с головой (ошибка ранних этапов). Анимация. Повторная реставрация.

Для понимания. Этот яркий «макияж» ниже, судя по всему, тогдашний модный фотографический лайфхак. У Перона там буквально контур на губах и вообще очень контрастные губы и глаза. Я даже немного их обесцветил в шопе, чтобы не было настолько сильного ощущения, что он пять минут назад вышел из бара «Голубая устрица».

Так что это не мой грех, это скорее слишком уж хорошо получилась реконструкция 🙂 Продолжим.

Я оживил своего прадеда нейросетями
Колоризация:
Я оживил своего прадеда нейросетями
Реставрация:
Я оживил своего прадеда нейросетями
Минус фон и сжатие:

6) Дальше надо анимировать. Как происходит сама анимация:

а) Я беру актёрскую озвучку и пользуюсь специальным интерфейсом нейросети, который позволяет накладывать СВОЮ мимику на фото. Какая мимика была у оригинала я уже изучил, как мог.

б) Попадаю со своей мимикой в липсинк с речью актёра для видео.

в) И по кругу — пока не получится красиво. Я глубоко проникся, какие нечеловеческие усилия должен был приложить Энди Сёркис, чтобы сыграть Горлума. Чтобы на выходе получилось правдоподобно, на входе нужна специфическая мимика. Местами преувеличенная, местами преуменьшенная. А ещё я постоянно забываю моргать 🙂

7) Дальше всё уходит монтажёру, который просил называть его Отец Фёдор. В данном случае монтажа нет, я просто сделал гифку сам.

Но обычно с его свечного заводика выходит видео как с Бенешем выше.

ИТОГ:

8) В конце процесса новость проверяет исторический консультант на предмет косяков в тексте. Ну, типа, было ли в 1945 такое-то слово и могли ли журналисты так выразиться? Если всё ок, новость идёт в эфир. Если нет — уточняется.

И так я могу воскресить так кого угодно. Не только же нацистских диктаторов выдёргивать из небытия. Вот, например, вам улыбается из второй мировой мой собственный прадедушка, полковник (на момент её окончания) и орденоносец Дон Мунисович (Данила Михайлович) Золотовский. Родился в 1907 году, в ноябре. Участвовал в Сталинградской битве, был комиссаром полка. Я его не застал, но дедушку помню. И когда мой прадедушка улыбается, я узнаю улыбку своего деда, Владлена Даниловича, который, кстати, был одним из основоположников советского телевидения.

Это ещё не всё.

В  процессе реставрации я поговорил со своей бабушкой. Она тоже застала войну. Во-первых, она говорит, что похож. 🙂

Во-вторых для меня открылся кусочек истории моей семьи. С детства у нас в квартире валялся старенький бинокль. Я никогда не интересовался его историей и всегда воспринимал как кусок квартиры. Ну бинокль, ну и что. Вот он:

Я оживил своего прадеда нейросетями

Так вот, оказалось, что этот самый бинокль — из окопов  Сталинграда, где воевал мой прадед. Моя бабушка оптик, и она виноватым тоном мне сообщила, что только окуляры там не оригинальные — она их приделала сама, потому что на войне их оторвало.

И, может быть, за счёт того, что бинокль тоже связан с тем, что ты видишь вещи, которые не мог бы увидеть просто так, я вдруг ощутил такую… не знаю… связь с предыдущими поколениями. Он ещё и улыбается как мой дедушка, который всю жизнь посвятил телевидению. Надеюсь, он бы мной гордился.

Вот раньше не было видео человека — а теперь есть. Это же так круто, господи. Спасибо научно-техническому прогрессу.

Собственно, вот и всё. Надеюсь, вам было интересно.

Сам проект называется «1945 – Сегодня». Ссылка в комментах. Если вы хотите как-то помочь, указать на неточности, подсказать какие-то технические средства и так далее, буду рад.

По материалам pikabu. Автор Арчет.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *