Security Foresight: тёмная сторона искусственного интеллекта

Использованию искусственного интеллекта в деятельности киберпреступников мало поднимается в открытой прессе и мало кто из специалистов пока задумывается о ней, предпочитая изучать, как ИИ может помочь делу ИБ. Несколько лет назад, на семинаре Gartner я спросил у Антона Чувакина, сталкивались ли они с запросами своих клиентов, которые бы интересовались нелегальным применением искусственного интеллекта. Антон тогда ответил, что даже просто использованием ИИ в ИБ у них поинтересовался за все время всего один клиент, а уж про тёмную сторону ИИ не спрашивал никто и никогда. Это показательный пример, когда специалисты по ИБ думают о «сиюминутных» задачах, не желая посмотреть «за горизонт».

А смотреть есть куда. В кибербезопасности часто используются технологии так называемого двойного назначения. Криптография используется и защитниками и хакерами. Поиск уязвимостей применяется при взломе и при пентесте. Фишинг используется злоумышленниками для компрометации пользователей, а безопасниками для их же обучения и проверки способности противостоять атакам. Вообще киберпреступники перенимают всё лучшее из нашего мира, и ИИ не исключение. Например, можно установить на компьютере жертвы относительно простого агента, изучающего переписку пользователя в электронной почте, соцсетях или мессенджерах. После небольшого периода обучения вредоносное ПО сможет маскироваться под жертву и от её имени рассылать сообщения по всем её контактам, которые и не заподозрят ничего. По работе сообщения будут официальными, друзьям или членам семьи — менее формальными (кстати, голосовые сообщения тоже можно будет подделывать без проблем). Все это легко автоматизируется, тем более, что в Интернете представлено немало готовых библиотек для реализации как базовых, так и более сложных алгоритмов ИИ. Вот только один пример с подборкой совершенно различных программных реализаций.

А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий — от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет — почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объём информации о людях — профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы… Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.

Вот представьте сценарий. Депутат Госдумы является скрытым педофилом, который зарегистрировался на нелегальном форуме с детской порнографией под вымышленным псевдонимом и с зарубежного почтового сервиса. При этом, по глупости, этот же псевдоним он использовал как часть своего e-mail для личного почтового ящика на mail.ru. А на эту почту он же пересылал несколько сообщений со своей служебной почты в домене gov.ru. Вполне реалистичный сценарий, в котором только технологии ИИ могут сопостовить множество источников данных и сделать гипотезы о совпадении этих трёх виртуальных личностей. Ну а дальше можно только предугадывать, что могут преступники (а может спецслужбы?) сделать с такой информацией.

А теперь вспомним про конкурс Cyber Grand Challenge, проведённый Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но… DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Незря Элон Маск сравнил проект DARPA с Skynet из «Терминатора».

Все, наверное, слышали про сервис VirusTotal, скрывающий «под крышкой» 60+ антивирусов, которые проверяют переданные сервису файлы на вредоносность. Безопасники могут использовать его для оценки способности интересующего антивируса ловить разные вредоносные программы. Аналогичные сервисы есть и по ту сторону баррикад, только там они используются для создания вредоносного кода, который не детектируется на момент своего распространения. А теперь представьте, что такие сервисы расширяются за счет технологий искусственного интеллекта, которые модифицируют вредоносный код и отправляют на сервис тестирования. И так в автоматическом режиме до тех пор, пока не будет найден вариант, пропускаемый средствами защиты.

Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться сейчас, чтобы потом не было поздно.

ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками. 

По материалам сайта Алексей Лукацкого «Бизнес без опасности»

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *