Создай бесплатный аккаунт Charmloop — без карты и без ограничений на просмотр. Начни создавать ИИ-арт за пару минут.
Исследователи в области безопасности продемонстрировали технику под названием HalluSquatting, которая превращает галлюцинации ИИ в конвейер для создания ботнетов — и девять наиболее широко используемых ИИ-инструментов оказались уязвимы, согласно материалам Ars Technica.
Механика проста — и именно это делает её опасной. Когда LLM не знает точного названия программной библиотеки или инструмента, она не молчит — а генерирует правдоподобно звучащий ответ. Злоумышленники отслеживают эти галлюцинированные названия пакетов, регистрируют их в публичных репозиториях — таких как PyPI или npm — прежде чем их займут легитимные пакеты, а затем наполняют эти пакеты вредоносным ПО. Любой, кто спрашивает у ИИ-ассистента «как установить X?» и дословно следует ответу, становится потенциальной точкой входа.
Термин «сквоттинг» происходит от тайпосквоттинга — старой практики регистрации почти идентичных доменных имён для перехвата пользователей, допустивших опечатку в URL. HalluSquatting — та же идея, применённая к выводам ИИ в масштабе: только ИИ генерирует «опечатки» автоматически и последовательно, в рамках миллионов запросов.
Исследователи протестировали девять известных ИИ-инструментов и обнаружили, что все они при определённых условиях промптинга рекомендуют несуществующие пакеты. Конкретные платформы не были полностью названы в ранних публикациях, однако масштаб — девять инструментов — свидетельствует о том, что это не причуда одной плохо настроенной модели. Это структурное свойство того, как LLM справляются с неопределённостью.
Для создателей ИИ-арта непосредственная угроза заключается не в самой генерации изображений — а в окружающей инструментальной цепочке. Рабочие процессы, построенные вокруг Stable Diffusion, ComfyUI, automatic1111 или кастомных пайплайнов ControlNet, нередко требуют установки Python-пакетов, расширений и нод. Когда создатели сталкиваются с проблемой настройки и обращаются за помощью к ИИ-ассистенту для программирования, они оказываются прямо в зоне риска HalluSquatting.
Создатель, устраняющий неполадки с кастомной нодой ComfyUI или пытающийся установить новую зависимость для обучения LoRA через pip, — именно тот пользователь, на которого нацелена эта атака. ИИ-ассистент звучит авторитетно. Название пакета выглядит легитимно. Команда установки синтаксически корректна. Вредоносное ПО запускается незаметно.
Тот же риск касается всех, кто использует ИИ-инструменты для создания скриптов автоматизации пакетной генерации, интеграций с API или пайплайнов дообучения моделей — всё это распространено в серьёзных рабочих процессах ИИ-арта.
Стандартные рекомендации — обновляйте ПО, не скачивайте из неизвестных источников — не применимы к этой угрозе напрямую. Источником здесь является доверенный ИИ-инструмент, который пользователь выбрал намеренно. Репозиторий пакетов (PyPI, npm) — тот же, что используется легитимным ПО. В момент установки нет очевидных тревожных признаков.
Единственная надёжная защита — самостоятельно проверять каждое название пакета перед выполнением команды установки: сверяться с официальной документацией библиотеки, убеждаться в существовании пакета в репозитории до установки, а также смотреть на количество загрузок и дату публикации как на базовую проверку здравого смысла. Пакет с 12 загрузками, опубликованный в прошлый вторник, — тревожный сигнал, независимо от того, насколько уверенно его рекомендовал ИИ.
Обновления модели, полностью устраняющего этот пробел, не существует. Галлюцинация — вероятностное свойство современных архитектур LLM, а не баг с известным патчем. Anthropic, OpenAI и другие компании добились прогресса в снижении частоты галлюцинаций, однако «снижено» — не значит «устранено», а злоумышленникам достаточно, чтобы модель ошиблась лишь однажды.
Для создателей, строящих сложные локальные пайплайны, отношение к инструкциям по установке, сгенерированным ИИ, как к отправной точке для проверки, а не к окончательному ответу, теперь является практической привычкой в области безопасности, а не просто теоретической осторожностью.
