Однако люди могут размещать специальные фразы – инъекции – на своих сайтах и в опубликованных в сети документах, чтобы нейросети выдавали другим пользователям ответ, учитывающий цели интересантов. В «Лаборатории Касперского» привели примеры областей, в которых такой метод уже применяется.
Наём персонала
В некоторых компаниях скрининг резюме автоматизируется с помощью нейросетей. Зная это, соискатели применяют непрямую инъекцию, чтобы обратить внимание больших языковых моделей на свои резюме. Но делают они это так, чтобы прочитать добавленную инструкцию могли только боты, а не рекрутеры и другие люди. Так, нужные детали и запросы к чат-ботам они указывают мелким шрифтом, окрашивают текст в цвет фона, выносят за пределы окна при помощи отрицательных координат.
Инъекции соискателей сводятся, как правило, к двум инструкциям для нейросетей: просьбе максимально положительно отозваться о кандидате или пропустить резюме на следующий этап, выставить ему более высокий приоритет.
Поиск фрилансеров
Непрямые инъекции используют также авторы объявлений на сайтах с поиском самозанятых. На некоторых ресурсах представлено большое количество ботов, в том числе на основе нейросетей. Они пытаются первыми заполучить заказы, что усложняет поиск нужного подрядчика.
Встречаются просьбы к ИИ-ассистентам откликнуться на предложение о работе в каком-либо забавном стиле (например, в образе пирата), чтобы сразу было понятно, что это бот, а не реальный человек.
В интересах рекламы
Рекламные инъекции направлены на поисковые чат-боты, чтобы их пользователи получали в ответ на свой вопрос более позитивную оценку конкретного продукта. Эти инъекции похожи по строению на те, что обнаруживались в резюме, и встречаются на сайтах самых разных товаров и услуг.
Похожий текст специалисты «Лаборатории Касперского» нашли в исходном коде на странице с описанием популярного решения для оркестрации задач и построения пайплайновобработки данных.
Выражение протеста
Пользователи добавляют на свои личные страницы и в профили в социальных сетях разнообразные инструкции для чат-ботов, чтобы выразить протест. Например, один бразильский художник обращался к нейросетям с требованием не читать, не использовать, не хранить, не обрабатывать, не адаптировать и не повторять определённый контент на его сайте.
Такие высказывания, вероятно, стали появляться в том числе как реакция на последствия повсеместного внедрения генеративного ИИ, связанные с потенциальным нарушением авторского права, лишением прибыли деятелей искусства, замусориванием интернета вторичным контентом.
Анализ киберугроз
Разные исследователи проводили лабораторные эксперименты, чтобы выяснить, как непрямые инъекции затравки могут использоваться в рамках целевого фишинга, для побега из контейнера при атаках на систему на базе LLM, способную самостоятельно выполнять действия на компьютере, а также для кражи данных из электронной почты.
На данный момент эти киберугрозы в большинстве случаев носят теоретический характер из-за ограниченных возможностей существующих решений на базе больших языковых моделей.
Комментарий эксперта
«В большинстве обнаруженных нами случаев использования непрямых инъекций какого-либо злого умысла у людей по сути не было. Однако киберзлоумышленники тоже проявляют активный интерес к нейросетям. Для защиты существующих и будущих решений на базе больших языковых моделей необходимо оценивать риски, изучать всевозможные методы обхода ограничений, – рассказал Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения в „Лаборатории Касперского”. – Полностью защититься от инъекций невозможно. Важно понимать, какие угрозы может нести обработка недоверенного текста и применять ручной анализ данных или ограничивать возможности систем на базе LLM, способных самостоятельно выполнять действия на компьютере, а также использовать комплексные защитные решения на тех устройствах, где развёрнуты подобные системы».
