Музыканты начинают создавать deep fake композиции, используя имитации голосов уже умерших знаменитых певцов. «It’s Christmas time! It’s hot tub time!» — звучат строчки из какой-то песни. Голос похож на голос Фрэнка Синатры, знаменитого американского певца — с легким свингом, музыка тоже напоминает синатровскую — сдержанные росчерки духовых и струнных. Композиция могла бы сойти за потерянную запись Синатры. Хотя голос иногда подводит.
Но речь идет не о реальной песне, а об убедительной подделке, созданной компанией OpenAI, занимающейся искусственным интеллектом (сооснователем компании является Илон Маск). Проект Jukebox использует искусственный интеллект для создания музыки и текста в самых разных жанрах. Кроме дипфейка Синатры компания создала дипфейки Кэти Перри, Элвиса Пресли, 2Pac, Селин Дион и других исполнителей. Обучив алгоритм с помощью 1,2 млн песен, взятых вместе с соответствующими текстами и метаданными из интернета, она формирует звуковую дорожку длительностью в несколько минут.
Как бы не удивляла эта технология, в некоторых сэмплах есть что-то пугающее. Особенно в тех, которые копируют голоса уже покойных исполнителей. Это явление, напоминающее реального человека, вызывает страх и отвращение. Обычно этот феномен применяют к человекоподобным роботам.
С точки зрения инженерной мысли это действительно впечатляет. Они разбивают аудиосигнал на набор музыкальных лексем – словарь, если хотите, – на трех разных уровнях времени, давая вам набор основных фрагментов, достаточных для воссоздания музыки. Затем алгоритм может переставить эти фрагменты. Дайте ему, например, немного Эллы Фицджеральд, и он найдет и соберет воедино соответствующие части «словаря», чтобы создать что-то в своем музыкальном пространстве.
Доктор Мэтью Йи-Кинг, академик из Goldsmiths
Дипфейк-вокал может иметь самые разные последствия для музыкальной индустрии, поскольку все больше компаний используют алгоритмы в музыке. Проект Google Magenta, заявленный как «исследование машинного обучения в качестве инструмента в творческом процессе», разработал несколько API с открытым исходным кодом, которые позволяют создавать композиции с использованием совершенно новых, генерируемых машиной звуков или совместного творчества человека и ИИ.
Такие дипфейки вызовут массу проблем, как этических, так и связанных с интеллектуальной собственностью. Если нет желания платить гонорар за использование записи известного исполнителя в фильме, телешоу или рекламе, то можно сгенерировать свою собственную имитацию. Им не нужно платить гонорары.
Юридические отделы музыкальной индустрии внимательно следят за развитием событий. Ранее в этом году американская концертная компания Roc Nation подала запрос на удаление анонимного пользователя YouTube за использование искусственного интеллекта для имитации голоса и ритма Jay-Z в рэпе на слова Шекспира и Билли Джоэла. Оба варианта невероятно реалистичны. «В этом контенте незаконно используется ИИ для имитации голоса нашего клиента», – говорится в заявке. И хотя в конечном итоге видео были восстановлены «в ожидании дополнительной информации от истца», первое в своем роде такое юридическое дело продолжается.
В отношении музыки есть два разных авторских права. Один в нотной записи и тексте, то есть в песне, и отдельный в звукозаписи, чем и занимается лейблы. И если кто-то не использовал саму запись, если они создали симулякр с использованием ИИ, то у вас не будет никаких оснований для судебных исков против них с точки зрения авторских прав в отношении такой звукозаписи.
Руперт Скеллетт, глава юридического отдела Beggars Group, в которую входят инди-лейблы 4AD, XL, Rough Trade и другие
Еще один эксперимент на основе GPT3. На этот раз GPT3 воссоздал голос Eminem и написал текст для его песни. Звучит как живой – один в один.
Deepfakes также ставит более глубокие вопросы:
Что делает конкретного исполнителя особенным?
Почему мы реагируем на определенные стили или типы музыки?
Что будет, когда их можно создавать по запросу?
Из предыдущей статьи про искусственный интеллект в музыкальной индустрии, можно узнать как создают музыку с помощью нейросетей.
