Créez votre compte Charmloop gratuit — sans carte bancaire, navigation illimitée. Lancez-vous dans l’art IA en quelques minutes.
Des chercheurs en sécurité ont démontré une technique appelée HalluSquatting qui transforme les hallucinations de l'IA en pipeline de construction de botnets — et neuf des outils d'IA les plus utilisés sont vulnérables, selon un reportage d'Ars Technica.
La mécanique est simple, et c'est précisément ce qui la rend dangereuse. Lorsqu'un LLM ne connaît pas le nom exact d'une bibliothèque logicielle ou d'un outil, il ne reste pas silencieux — il génère une réponse qui semble plausible. Les attaquants surveillent ces noms de paquets hallucinés, les enregistrent sur des dépôts publics comme PyPI ou npm avant qu'un paquet légitime ne les revendique, puis chargent ces paquets avec des malwares. Quiconque demande à un assistant IA « comment installer X ? » et suit le résultat mot pour mot devient un point d'entrée potentiel.
Le terme « squatting » vient du typosquatting, la pratique plus ancienne consistant à enregistrer des noms de domaine quasi identiques pour intercepter les URL mal tapées. HalluSquatting applique la même idée aux sorties de l'IA à grande échelle — sauf que c'est l'IA qui génère automatiquement et de manière constante les fautes, sur des millions de requêtes.
Les chercheurs ont testé neuf outils d'IA de premier plan et ont constaté que tous, dans les bonnes conditions de sollicitation, recommanderaient des paquets qui n'existent pas. Les plateformes spécifiques n'ont pas toutes été nommées dans les premières couvertures médiatiques, mais l'ampleur — neuf outils — indique qu'il ne s'agit pas d'une bizarrerie d'un modèle mal calibré. C'est une propriété structurelle de la façon dont les LLM gèrent l'incertitude.
Pour les créateurs d'art IA, l'exposition immédiate ne se situe pas dans la génération d'images elle-même — elle se trouve dans la chaîne d'outils environnante. Les workflows construits autour de Stable Diffusion, ComfyUI, automatic1111, ou de pipelines ControlNet personnalisés nécessitent souvent l'installation de paquets Python, d'extensions et de nœuds. Lorsque les créateurs rencontrent un problème de configuration et demandent de l'aide à un assistant de codage IA, ils se trouvent en plein territoire HalluSquatting.
Un créateur qui dépanne un nœud personnalisé ComfyUI ou qui tente d'installer une nouvelle dépendance d'entraînement LoRA via pip est exactement l'utilisateur que cette attaque cible. L'assistant IA semble faire autorité. Le nom du paquet paraît légitime. La commande d'installation est syntaxiquement correcte. Le malware s'exécute silencieusement.
Le même risque s'applique à quiconque utilise des outils d'IA pour construire des scripts d'automatisation pour la génération par lots, les intégrations API, ou les pipelines de fine-tuning de modèles — tous courants dans les workflows sérieux d'art IA.
Les conseils standard — maintenir les logiciels à jour, ne pas télécharger depuis des sources inconnues — ne s'appliquent pas clairement à cette menace. La source ici est un outil d'IA de confiance que l'utilisateur a délibérément choisi. Le dépôt de paquets (PyPI, npm) est le même que celui utilisé par les logiciels légitimes. Il n'y a aucun signal d'alarme évident au moment de l'installation.
La seule défense fiable est de vérifier indépendamment chaque nom de paquet avant d'exécuter une commande d'installation : consulter la documentation officielle de la bibliothèque, confirmer que le paquet existe sur le dépôt avant de l'installer, et examiner le nombre de téléchargements et les dates de publication comme vérification de base. Un paquet avec 12 téléchargements publié mardi dernier est un signal d'alarme, quelle que soit la confiance avec laquelle une IA l'a recommandé.
Aucune mise à jour de modèle ne comble entièrement cette lacune. L'hallucination est une propriété probabiliste des architectures LLM actuelles, pas un bug avec un correctif connu. Anthropic, OpenAI et d'autres ont progressé dans la réduction des taux d'hallucination, mais « réduit » ne signifie pas « éliminé » — et les attaquants n'ont besoin que d'une seule erreur du modèle.
Pour les créateurs qui construisent des pipelines locaux complexes, traiter les instructions d'installation générées par l'IA comme un point de départ à vérifier plutôt que comme une réponse définitive est désormais une habitude de sécurité pratique, et non une simple précaution théorique.
