Некоторое время назад речевой стартап ElevenLabs запустил бета-версию своей платформы, которая предоставляет пользователям возможность создавать новые голоса для преобразования текста в речь. Платформа также позволяет синтезировать чей-либо голос. Пользователи Сети уже через несколько дней начали использовать этот инструментарий в низменных целях.
Компания-разработчик сообщила в Twitter, что наблюдает «растущее число случаев неправомерного использования клонирования голоса». Также в твите добавляется, что сотрудники пытаются решить проблему путём «внедрения дополнительных мер безопасности».
«Безумные выходные – спасибо всем, кто попробовал нашу бета-платформу. Хотя мы видим, что наша технология в подавляющем большинстве применяется с пользой, мы также наблюдаем увеличение числа случаев неправильного использования клонирования голоса. Мы хотим обратиться к сообществу Twitter за мыслями и отзывами!»
ElevenLabs (@elevenlabsio)
Хотя ElevenLabs не уточнила, что подразумевается под «случаями неправильного использования», Motherboard сообщает, что пользователи веб-форума 4chan с помощью синтезатора речи начали создавать аудио, в которых используются голоса знаменитостей, говорящих что-то сомнительное. Так, известно о появлении аудио с голосом, похожим на голос актрисы Эммы Уотсон, читающей «Майн Кампф». Пользователи также публиковали голосовые ролики, которые отражают гомофобные и расистские настроения. Не совсем ясно, все ли клипы использовали технологию ElevenLab, но одно из сообщений на 4chan с большой коллекцией голосовых файлов содержало ссылку на платформу стартапа.
ElevenLabs сейчас собирает предложения о том, как предотвратить злоупотребления. Среди них — добавление дополнительных уровней к проверке учётной записи, например, требования ввода платёжной информации или идентификатора. Также рассматривается возможность того, чтобы пользователи подтверждали авторские права на голос, который они хотят клонировать. Кроме того, компания подумывает об отказе от своего инструмента Voice Lab, чтобы заставить пользователей отправлять запросы на клонирование голоса, которые она должна проверять вручную.
По материалам Factcheck.kz
