Maak je gratis Charmloop-account aan — geen creditcard, onbeperkt rondkijken. Binnen enkele minuten maak je AI-kunst.
Beveiligingsonderzoekers hebben een techniek gedemonstreerd genaamd HalluSquatting die AI-hallucinaties omzet in een pijplijn voor het bouwen van botnets — en negen van de meest gebruikte AI-tools zijn vatbaar, aldus een rapport van Ars Technica.
De werking is eenvoudig en dat is precies wat het gevaarlijk maakt. Wanneer een LLM de exacte naam van een softwarebibliotheek of tool niet kent, blijft het niet stil — het genereert een aannemelijk klinkend antwoord. Aanvallers monitoren deze gehallucineerde pakketnamen, registreren ze op publieke repositories zoals PyPI of npm voordat een legitiem pakket ze opeist, en laden die pakketten vervolgens met malware. Iedereen die een AI-assistent vraagt «hoe installeer ik X?» en de uitvoer letterlijk opvolgt, wordt een potentieel toegangspunt.
De term «squatting» is afgeleid van typosquatting, de oudere praktijk van het registreren van bijna identieke domeinnamen om verkeerd getypte URL's op te vangen. HalluSquatting is hetzelfde idee toegepast op AI-uitvoer op grote schaal — behalve dat de AI de typefouten automatisch en consistent genereert, over miljoenen zoekopdrachten.
Onderzoekers testten negen prominente AI-tools en ontdekten dat ze allemaal, onder de juiste promptomstandigheden, pakketten zouden aanbevelen die niet bestaan. De specifieke platforms werden niet allemaal genoemd in de vroege berichtgeving, maar de breedte — negen tools — geeft aan dat dit geen eigenaardigheid is van één slecht afgestemd model. Het is een structurele eigenschap van de manier waarop LLM's omgaan met onzekerheid.
Voor AI-kunstmakers ligt de directe blootstelling niet in de beeldgeneratie zelf — maar in de omringende toolchain. Workflows gebouwd rondom Stable Diffusion, ComfyUI, automatic1111 of aangepaste ControlNet-pijplijnen vereisen vaak de installatie van Python-pakketten, extensies en nodes. Wanneer makers een installatieprobleem tegenkomen en een AI-codeassistent om hulp vragen, bevinden ze zich precies in HalluSquatting-territorium.
Een maker die een aangepaste ComfyUI-node probeert op te lossen of een nieuwe LoRA-trainingsafhankelijkheid via pip probeert te installeren, is precies de gebruiker die deze aanval target. De AI-assistent klinkt gezaghebbend. De pakketnaam ziet er legitiem uit. Het installatiebevel is syntactisch correct. De malware draait geruisloos.
Hetzelfde risico geldt voor iedereen die AI-tools gebruikt om automatiseringsscripts te bouwen voor batchgeneratie, API-integraties of model fine-tuning-pijplijnen — allemaal gangbaar in serieuze AI-kunstworkflows.
Standaardadvies — houd software bijgewerkt, download niet van onbekende bronnen — sluit niet goed aan op deze dreiging. De bron hier is een vertrouwde AI-tool die de gebruiker bewust heeft gekozen. De pakketrepository (PyPI, npm) is dezelfde die legitieme software gebruikt. Er is geen duidelijke rode vlag op het moment van installatie.
De enige betrouwbare verdediging is om elke pakketnaam onafhankelijk te verifiëren voordat een installatieopdracht wordt uitgevoerd: controleer de officiële documentatie van de bibliotheek, bevestig dat het pakket bestaat in de repository vóór installatie, en bekijk downloadaantallen en publicatiedatums als een basale gezondheidscheck. Een pakket met 12 downloads dat afgelopen dinsdag is gepubliceerd, is een waarschuwingssignaal, ongeacht hoe zelfverzekerd een AI het heeft aanbevolen.
Er bestaat geen modelupdate die deze kloof volledig dicht. Hallucinatie is een probabilistische eigenschap van huidige LLM-architecturen, geen bug met een bekende patch. Anthropic, OpenAI en anderen hebben vooruitgang geboekt bij het verminderen van hallucinatiesnelheden, maar «verminderd» is niet «geëlimineerd» — en aanvallers hebben maar één keer nodig dat het model het fout heeft.
Voor makers die complexe lokale pijplijnen bouwen, is het behandelen van door AI gegenereerde installatie-instructies als een startpunt om te verifiëren in plaats van een definitief antwoord nu een praktische beveiligingsgewoonte, niet slechts theoretische voorzichtigheid.
