Звено эволюции нейросетей
Применение классических моделей нейросетей на графах, являющихся нерегулярными структурами данных, – это естественный этап развития технологии нейронных сетей. Графовые нейросети появились, когда выяснилось, что для анализа структурных данных, которые описывают объекты с набором признаков и оснащены дополнительной информацией о связях между объектами, не подходят классические конструкции нейронных сетей. А между тем в повседневной жизни мы регулярно сталкиваемся с графами — например, когда пользуемся социальными сетями или совершаем покупки в интернет-магазинах. И для того чтобы применять машинное обучение на графах, необходимо было научиться строить числовое представление структурных данных, то есть векторизовать граф, сохраняя какие-то его свойства и исходные признаки объектов в едином представлении.
Но проблема заключалась в том, что большинство моделей векторизации графов (или векторного представления вершин графа) были достаточно медленными.
Большую эффективность демонстрировали появившиеся в 2015-2016 году модели, в которых представление вершины графа определялось её «соседями» в графе на основе случайных блужданий. Если попробовать перевести это с математического языка на человеческий, в пример можно привести тот факт, что, выходя из дома и «случайно» выбирая дорогу на развилке, человек на самом деле собирает наиболее интересные для него места: офис, магазины, банк и т. д. И можно сказать, что человек – это то, куда он ходит. Или то, что он ищет в интернете.
Но и эти модели были недостаточно хороши по причине того, что лежащие в их основе случайные блуждания при построении векторной модели графа, которую также называют графовым эмбеддингом, не затрагивали атрибуты, хранящиеся в вершинах и на ребрах графа. Иными словами, в нашем примере мы не могли бы узнать, что женщина с большей вероятностью построит маршрут, на котором будет детский магазин, а мужчина пойдет мимо спортивного.
Графовые нейросети объединили плюсы предыдущих подходов и стали довольно популярной технологией. Идея построения графовой нейросети базируется на модели анализа социальных сетей, в которой решение пользователя о покупке нового смартфона определяется как сумма влияний его друзей и собственного мнения. При этом разные друзья оказывают на нас разное влияние, масштабы которого вычисляет сама модель.
Где применяются графовые нейросети
Графовые нейронные сети активно применяются в машинном обучении на графах для решения локальных (классификация вершин, предсказание связей) и глобальных (схожесть графов, классификация графов) задач.
Локальные методы имеют много примеров применения в обработке текстов, компьютерном зрении и рекомендательных системах. Глобальные методы, в свою очередь, применяются в аппроксимации задач, эффективно не решаемых на современных компьютерах (за исключением квантового компьютера будущего), и используются на стыке компьютерных и естественных наук для предсказания новых свойств и веществ (это актуально, например, при создании новых лекарственных препаратов).
Пика популярности графовые нейросети достигли в 2018 году, когда они стали использоваться и показали высокую эффективность в различных приложениях. Самый известный пример – модель PinSage в рекомендательной системе сервиса Pinterest.
С тех пор находится всё больше новых применений технологии в областях, где раньше существующие методы были не способны эффективно учитывать в моделях связи между объектами. Например, при рекомендации модного образа, состоящего из нескольких предметов гардероба, стало возможным учитывать как сочетаемость предметов по визуальным и текстовым характеристикам, так и их сочетаемость в целом в плане коллекции дизайнерских решений.
Графовые нейронные сети являются основой почти всех рекомендательных систем (например, в Amazon, Facebook и т.д.), помогают выявлять признаки мошенничества в банковских транзакциях, предсказывать важность связей между компаниями для агрегации новостной информации в Bloomberg.
Наконец, моделирование пандемии ковида на основе графового подхода показало гораздо более высокую точность, чем на основе описания динамических систем. Таким образом, графовые нейронные сети снова зарекомендовали себя как актуальный и перспективный инструмент для исследователей и практиков.
Исследования в России и за рубежом
Среди авторов статей, посвященных исследованиям в области искусственного интеллекта, на международных ведущих конференциях и в ведущих журналах ученых из России на порядок меньше, чем из США, Европы или Китая. Основная причина этого — существенная разница в финансировании.
Чтобы оценить эту разницу, достаточно взглянуть на исследования, которые принимают в основной поток ведущие конференции в области компьютерных наук. Средний размер гранта на такое исследование составляет миллион долларов.
Программы от российского научного фонда даже при самом хорошем раскладе получают финансирование в 15-30 раз меньше. В таких условиях главными драйверами изучения новых подходов на основе графовых нейронных сетей становятся исследования, проводимые в крупных компаниях.
В России теорией графовых нейронных сетей занимаются в НИУ ВШЭ, Сколтехе и МФТИ. Прикладные исследования ведутся в Университете ИТМО, КФУ. Со стороны бизнеса в развитие этого направления свой вклад вносят Mail.ru Group, Сбер, «Яндекс», JetBrains.
А на мировой арене драйверами развития графовых нейросетей являются Twitter, Google, Amazon, Facebook, Pinterest.
Чего ждать от графовых нейросетей в будущем
Сегодня графовые нейросети уже уступили звание самой обсуждаемой технологии трансформерам с их большими архитектурами, описывающими все возможные зависимости в неструктурированных данных. Но они порождают модели, обучение которых стоит миллионы долларов и доступно только крупным корпорациям. Так что тренд на использование графовых нейронных сетей сохраняется. Вероятно, именно благодаря им ученые сделают новые важные открытия в науке о материалах, фармакологии и медицине.
Возможно, нас ждет появление новых более эффективных моделей, но графовые нейросети сформировались в самостоятельную технологию, которую можно использовать для решения разных задач, и заняли своё место в теории машинного обучения. Наступил очень хороший момент для того, чтобы погрузиться в эту технологию, ведь это шанс участвовать в развитии молодой отрасли как в науке, так и в индустриальных приложениях.
По материаалам TAdviser. Автор Илья Макаров
