Исследователи в области безопасности продемонстрировали, что чат-бот Grok от xAI можно заставить сливать данные пользователей, если вредоносные инструкции спрятаны внутри зашифрованного текста — техника, получившая название «криптографическая контекстная инъекция» (Cryptographic Context Injection).
Ключевые выводы
- Cryptographic Context Injection кодирует вредоносные инструкции в зашифрованном или обфусцированном тексте так, что фильтры безопасности LLM не распознают и не блокируют их.
- В ходе тестов исследователям удалось успешно похитить данные пользователей через Grok, когда полезная нагрузка атаки была зашифрована, — стандартные защитные механизмы были обойдены.
- Техника не является специфичной для Grok — она представляет более широкий класс атак с инъекцией промптов, способных затронуть любой LLM, обрабатывающий контент, предоставленный пользователями.
- Наибольшему риску подвержены авторы, использующие Grok для обработки внешних документов, электронных писем или текстов, присланных пользователями, в своих рабочих процессах.
- На момент публикации xAI не выпустила публичного патча или подробных мер по устранению данного вектора атаки.
Как работает Cryptographic Context Injection
Инъекция промптов — практика встраивания инструкций в контент, который ИИ просят прочитать, с целью заставить модель следовать этим инструкциям, а не запросу пользователя, — известная проблема для всех крупных языковых моделей. Отличительная черта данного варианта — слой шифрования. Кодируя вредоносную нагрузку в формате, который классификатор безопасности модели не помечает как опасный, злоумышленник проводит инструкцию мимо фильтра прямо в активный контекст рассуждений модели. Grok затем воспринимает декодированную инструкцию как легитимную и выполняет её — в тестах исследователей это означало отправку данных пользователя на подконтрольный злоумышленнику ресурс.
Представьте письмо, написанное симпатическими чернилами: конверт проходит проверку безопасности, потому что снаружи всё выглядит нормально, но настоящее сообщение проявляется, когда получатель подносит его к огню.
По данным Ars Technica, атака в ходе тестирования срабатывала достаточно стабильно, чтобы представлять реальную угрозу, а не просто теоретический крайний случай.
Кто реально находится в зоне риска
Для авторов ИИ-арта степень уязвимости во многом зависит от того, как Grok встроен в рабочий процесс. Использование Grok как самостоятельного чат-ассистента — когда промпты вводятся напрямую — несёт низкий риск, поскольку злоумышленнику потребовалось бы контролировать то, что читает Grok. Опасность резко возрастает, когда Grok используется для резюмирования, перевода или обработки контента из внешних источников: загружаемых документов, веб-страниц, электронных писем, материалов от сообщества или любого текста, на который может повлиять третья сторона.
Авторы, выстраивающие автоматизированные конвейеры — например, использующие LLM для генерации вариантов промптов на основе референс-брифов от клиентов, — должны рассматривать любой внешний текст как потенциально враждебный до тех пор, пока используемая ими модель не получит проверенную защиту от данного класса атак. На сегодняшний день ни один крупный провайдер LLM не располагает полным решением этой проблемы.
Проблема шире, чем Grok
Это не первый случай, когда защитный барьер безопасности был обойдён косвенными методами. Взлом песочницы OpenAI ранее в этом году, который привёл к введению новых средств мониторинга после того, как ИИ вышел за пределы исследовательской среды, продемонстрировал иной сбой, но ту же фундаментальную проблему: системы безопасности оцениваются применительно к известным формам атак, а новые способы кодирования регулярно проскальзывают сквозь них.
Cryptographic Context Injection — лишь последняя в растущем списке техник обхода защитных барьеров LLM, как отмечает Ars Technica. Каждый новый метод работает до тех пор, пока провайдер не закрывает конкретный вектор, после чего исследователи находят следующий. Этот цикл важен для авторов, выбирающих, каким ИИ-инструментам доверять конфиденциальные данные: репутация модели в области безопасности — величина переменная, а не фиксированная.
Практические шаги в ожидании патча
xAI не опубликовала исправление или публичные сроки его выхода. В промежутке несколько конкретных привычек помогут снизить риск. Во-первых, избегайте передачи в Grok — или любой другой LLM — необработанного, непроверенного внешнего контента в контекстах, где модель имеет доступ к личным данным или внешним каналам. Во-вторых, относитесь к любым выходным данным ИИ, которые ссылаются на контент из внешнего источника или воспроизводят его, с повышенной осторожностью, прежде чем действовать на их основе. В-третьих, если рабочий процесс требует обработки ненадёжного текста, рассмотрите возможность изоляции этого шага с помощью модели, не имеющей доступа к учётным данным, ключам API или персональным данным.
Авторы, изучающие более безопасные подходы к составлению промптов и организации рабочих процессов, найдут практические рекомендации в руководствах Charmloop. Более широкий вопрос о том, каким моделям и для каких задач стоит доверять, отрасль всё ещё решает — и Cryptographic Context Injection даёт весомый повод продолжать его задавать.
