Crea il tuo account Charmloop gratuito: niente carta, esplorazione senza limiti. Inizia a creare arte con IA in pochi minuti.
I ricercatori di sicurezza hanno dimostrato una tecnica chiamata HalluSquatting che trasforma le allucinazioni dell'AI in una pipeline per la costruzione di botnet — e nove dei più diffusi strumenti AI sono vulnerabili, secondo quanto riportato da Ars Technica.
I meccanismi sono semplici, ed è proprio questo a renderli pericolosi. Quando un LLM non conosce il nome esatto di una libreria software o di uno strumento, non tace — genera una risposta dal suono plausibile. Gli aggressori monitorano questi nomi di pacchetti allucinati, li registrano su repository pubblici come PyPI o npm prima che qualsiasi pacchetto legittimo li rivendichi, e poi li caricano con malware. Chiunque chieda a un assistente AI «come installo X?» e segua l'output alla lettera diventa un potenziale punto di ingresso.
Il termine «squatting» deriva dal typosquatting, la pratica più antica di registrare nomi di dominio quasi identici per intercettare URL digitati erroneamente. HalluSquatting è la stessa idea applicata agli output dell'AI su larga scala — con la differenza che è l'AI stessa a generare automaticamente e in modo costante gli errori tipografici, su milioni di query.
I ricercatori hanno testato nove importanti strumenti AI e hanno scoperto che tutti, nelle giuste condizioni di prompting, raccomanderebbero pacchetti inesistenti. Le piattaforme specifiche non sono state tutte nominate nella copertura iniziale, ma l'ampiezza — nove strumenti — segnala che non si tratta di una peculiarità di un singolo modello mal calibrato. È una proprietà strutturale del modo in cui gli LLM gestiscono l'incertezza.
Per i creator di AI art, l'esposizione immediata non riguarda la generazione di immagini in sé — ma la toolchain circostante. I workflow costruiti attorno a Stable Diffusion, ComfyUI, automatic1111 o pipeline ControlNet personalizzate richiedono spesso l'installazione di pacchetti Python, estensioni e nodi. Quando i creator incontrano un problema di configurazione e chiedono aiuto a un assistente AI per la programmazione, si trovano esattamente nel territorio di HalluSquatting.
Un creator che risolve problemi con un nodo personalizzato di ComfyUI o che cerca di installare una nuova dipendenza per il training LoRA tramite pip è esattamente l'utente che questo attacco prende di mira. L'assistente AI suona autorevole. Il nome del pacchetto sembra legittimo. Il comando di installazione è sintatticamente corretto. Il malware gira in silenzio.
Lo stesso rischio si applica a chiunque utilizzi strumenti AI per strutturare script di automazione per la generazione in batch, integrazioni API o pipeline di fine-tuning dei modelli — tutte pratiche comuni nei workflow seri di AI art.
I consigli standard — mantenere il software aggiornato, non scaricare da fonti sconosciute — non si adattano bene a questa minaccia. La fonte qui è uno strumento AI di fiducia che l'utente ha scelto deliberatamente. Il repository dei pacchetti (PyPI, npm) è lo stesso utilizzato dal software legittimo. Non c'è nessun segnale d'allarme evidente al momento dell'installazione.
L'unica difesa affidabile è verificare in modo indipendente ogni nome di pacchetto prima di eseguire un comando di installazione: controllare la documentazione ufficiale della libreria, confermare che il pacchetto esista nel repository prima di installarlo, e osservare il numero di download e le date di pubblicazione come controllo di base. Un pacchetto con 12 download pubblicato martedì scorso è un segnale d'allarme indipendentemente da quanto con sicurezza un'AI lo abbia raccomandato.
Non esiste alcun aggiornamento del modello che chiuda completamente questa lacuna. L'allucinazione è una proprietà probabilistica delle attuali architetture LLM, non un bug con una patch nota. Anthropic, OpenAI e altri hanno fatto progressi nella riduzione dei tassi di allucinazione, ma «ridotto» non significa «eliminato» — e agli aggressori basta che il modello sbagli una sola volta.
Per i creator che costruiscono pipeline locali complesse, trattare le istruzioni di installazione generate dall'AI come un punto di partenza da verificare piuttosto che come una risposta definitiva è ormai un'abitudine di sicurezza pratica, non una semplice precauzione teorica.
