Створи безкоштовний акаунт Charmloop — без картки й без обмежень на перегляд. Почни створювати ШІ-арт за лічені хвилини.
Дослідники з безпеки продемонстрували техніку під назвою HalluSquatting, яка перетворює галюцинації ШІ на конвеєр для побудови ботнетів — і дев'ять найпоширеніших інструментів ШІ є вразливими, згідно з матеріалом Ars Technica.
Механіка проста — і саме це робить її небезпечною. Коли LLM не знає точної назви бібліотеки або інструменту, вона не мовчить — вона генерує правдоподібну відповідь. Зловмисники відстежують ці галюциновані назви пакетів, реєструють їх у публічних репозиторіях на кшталт PyPI або npm раніше, ніж будь-який легітимний пакет їх займе, а потім завантажують ці пакети шкідливим програмним забезпеченням. Будь-хто, хто запитує в помічника ШІ «як встановити X?» і дослівно виконує відповідь, стає потенційною точкою входу.
Термін «squatting» походить від typosquatting — старішої практики реєстрації майже ідентичних доменних імен для перехоплення неправильно введених URL-адрес. HalluSquatting — та сама ідея, застосована до виводу ШІ у масштабі — з тією різницею, що ШІ генерує «помилки» автоматично, послідовно, в мільйонах запитів.
Дослідники протестували дев'ять відомих інструментів ШІ і виявили, що всі вони за відповідних умов промптингу рекомендуватимуть неіснуючі пакети. Конкретні платформи не всі були названі в ранніх публікаціях, але масштаб — дев'ять інструментів — свідчить про те, що це не особливість однієї погано налаштованої моделі. Це структурна властивість того, як LLM обробляють невизначеність.
Для творців AI-арту безпосередня загроза полягає не в самій генерації зображень — а в навколишньому інструментальному ланцюжку. Робочі процеси, побудовані навколо Stable Diffusion, ComfyUI, automatic1111 або кастомних пайплайнів ControlNet, часто вимагають встановлення пакетів Python, розширень і вузлів. Коли творці стикаються з проблемою налаштування і звертаються до помічника ШІ для кодування, вони опиняються саме в зоні ризику HalluSquatting.
Творець, який налагоджує кастомний вузол ComfyUI або намагається встановити нову залежність для навчання LoRA через pip, — це саме той користувач, на якого спрямована ця атака. Помічник ШІ звучить авторитетно. Назва пакету виглядає легітимно. Команда встановлення синтаксично правильна. Шкідливе ПЗ запускається непомітно.
Той самий ризик стосується всіх, хто використовує інструменти ШІ для створення скриптів автоматизації пакетної генерації, інтеграцій API або пайплайнів тонкого налаштування моделей — усе це є звичайним у серйозних робочих процесах AI-арту.
Стандартні поради — оновлюйте програмне забезпечення, не завантажуйте з невідомих джерел — не відповідають цій загрозі. Джерелом тут є довірений інструмент ШІ, який користувач свідомо обрав. Репозиторій пакетів (PyPI, npm) — той самий, що використовує легітимне програмне забезпечення. У момент встановлення немає очевидних тривожних сигналів.
Єдиний надійний захист — незалежно перевіряти кожну назву пакету перед виконанням команди встановлення: звіряйтеся з офіційною документацією бібліотеки, переконайтеся, що пакет існує в репозиторії до встановлення, і перевіряйте кількість завантажень та дати публікації як базову перевірку здорового глузду. Пакет із 12 завантаженнями, опублікований минулого вівторка, — це тривожний сигнал, незалежно від того, наскільки впевнено його рекомендував ШІ.
Не існує оновлення моделі, яке повністю закриє цю прогалину. Галюцинація — це імовірнісна властивість сучасних архітектур LLM, а не помилка з відомим патчем. Anthropic, OpenAI та інші досягли прогресу у зниженні рівня галюцинацій, але «знижений» — це не «усунений» — а зловмисникам достатньо, щоб модель помилилася лише один раз.
Для творців, які будують складні локальні пайплайни, ставлення до згенерованих ШІ інструкцій з встановлення як до відправної точки для перевірки, а не до остаточної відповіді, тепер є практичною звичкою безпеки, а не лише теоретичною обережністю.
