Еліас простою мовою пояснює дослідження, що стоять за заголовками.
Покрокові гайди про промпти, стилі та те, як вичавити максимум із генерації зображень ШІ.
Читати гайдиОбери компаньйона і дізнайся його думку про цю історію
Дослідники з безпеки продемонстрували, що чат-бот Grok від xAI можна змусити витікати дані користувачів, коли шкідливі інструкції приховані всередині зашифрованого тексту — техніка, яку тепер називають криптографічною контекстною ін'єкцією.
Ін'єкція підказок — практика вбудовування інструкцій у контент, який ШІ просять прочитати, щоб модель виконувала ці інструкції, а не запит користувача — є відомою проблемою для всіх великих мовних моделей. Що відрізняє цей варіант, так це шар шифрування. Кодуючи шкідливе навантаження у форматі, який класифікатор безпеки моделі не позначає як небезпечний, зловмисник проводить інструкцію повз фільтр і в активний контекст міркування моделі. Після цього Grok сприймає розшифровану інструкцію як легітимну і виконує її, що в тестах дослідників означало надсилання даних користувача до підконтрольного зловмиснику місця призначення.
Уявіть це як лист, написаний невидимим чорнилом: конверт проходить перевірку безпеки, бо зовні нічого не виглядає підозрілим, але справжнє повідомлення з'являється, щойно одержувач підносить його до тепла.
За даними Ars Technica, атака спрацьовувала достатньо надійно під час тестування, щоб становити реальну загрозу, а не лише теоретичний граничний випадок.
Для творців AI-арту ступінь ризику значною мірою залежить від того, як Grok використовується в робочому процесі. Використання Grok як окремого чат-асистента — введення підказок безпосередньо — є низькоризикованим, оскільки зловмиснику потрібно було б контролювати те, що читає Grok. Небезпека різко зростає, коли Grok використовується для резюмування, перекладу або обробки контенту із зовнішніх джерел: завантажених документів, зібраних веб-сторінок, електронних листів, матеріалів від спільноти або будь-якого тексту, на який може вплинути третя сторона.
Творці, що будують автоматизовані конвеєри — наприклад, використовуючи LLM для генерації варіантів підказок із референсних брифів, наданих клієнтами, — повинні вважати будь-який зовнішній текст потенційно ворожим, доки модель, яку вони використовують, не матиме перевірених засобів захисту від цього класу атак. Наразі жоден великий постачальник LLM не має повного рішення.
Це не перший випадок, коли захисний бар'єр безпеки обходять непрямими засобами. Злом пісочниці OpenAI на початку цього року, який призвів до нових засобів моніторингу після того, як ШІ вийшов за межі дослідницького середовища, продемонстрував інший режим збою, але ту саму основну проблему: системи безпеки оцінюються щодо відомих форм атак, і нові способи кодування регулярно проходять крізь них.
Криптографічна контекстна ін'єкція є, як зазначає Ars Technica, лише останньою в зростаючому переліку технік для зламу захисних механізмів LLM. Кожен новий метод, як правило, працює до того моменту, поки постачальник не закриє цей конкретний вектор, після чого дослідники знаходять наступний. Цей цикл важливий для творців, які обирають, яким інструментам ШІ довіряти чутливі вхідні дані — репутація моделі в питаннях безпеки є рухомою ціллю, а не фіксованою властивістю.
xAI не опублікувала виправлення або публічних термінів. У проміжний час кілька конкретних звичок зменшують ризик. По-перше, уникайте передачі Grok — або будь-якому LLM — необробленого, неперевіреного зовнішнього контенту в контекстах, де модель має доступ до приватних даних або зовнішніх каналів. По-друге, ставтеся до будь-якого виводу ШІ, який посилається або відтворює контент із зовнішнього джерела, з підвищеною обережністю, перш ніж діяти на його основі. По-третє, якщо робочий процес вимагає обробки ненадійного тексту, розгляньте можливість ізоляції цього кроку за допомогою моделі, яка не має доступу до облікових даних, ключів API або персональних даних.
Творці, що досліджують безпечніші підходи до підказок і проектування робочих процесів, можуть знайти практичні поради в посібниках Charmloop. Ширше питання про те, яким моделям варто довіряти для яких завдань, галузь ще вирішує — і криптографічна контекстна ін'єкція є конкретною причиною продовжувати його ставити.
