Erstelle dein kostenloses Charmloop-Konto — keine Kreditkarte, unbegrenztes Stöbern. In wenigen Minuten startest du mit KI-Kunst.
Sicherheitsforscher haben eine Technik namens HalluSquatting demonstriert, die KI-Halluzinationen in eine Botnet-Aufbaupipeline verwandelt – und neun der meistgenutzten KI-Tools sind anfällig dafür, wie Ars Technica berichtet.\n\n## Die wichtigsten Erkenntnisse\n\n- HalluSquatting ist ein Angriff, bei dem gefälschte Softwarepakete unter Namen registriert werden, die KI-Tools halluzinieren, und dann darauf gewartet wird, dass Nutzer diese installieren.\n- Forscher stellten fest, dass neun große KI-Plattformen – darunter weit verbreitete Coding- und Kreativ-Assistenten – diese nicht existierenden oder schädlichen Pakete selbstsicher empfehlen.\n- Der Angriff nutzt eine grundlegende Schwäche von LLMs aus: Modelle können nicht zuverlässig sagen „Ich weiß es nicht" und erfinden stattdessen plausibel klingende Paketnamen.\n- Nutzer, die KI-generierte Installationsanweisungen befolgen, ohne die Paketquellen unabhängig zu überprüfen, sind die primären Ziele.\n- Für das zugrundeliegende Halluzinationsproblem gibt es keinen Patch; die Lösung ist verhaltensbasiert, nicht technischer Natur.\n\n## Wie HalluSquatting tatsächlich funktioniert\n\nDie Mechanik ist unkompliziert – und genau das macht sie gefährlich. Wenn ein LLM den genauen Namen einer Softwarebibliothek oder eines Tools nicht kennt, schweigt es nicht – es generiert eine plausibel klingende Antwort. Angreifer beobachten diese halluzinierten Paketnamen, registrieren sie in öffentlichen Repositories wie PyPI oder npm, bevor ein legitimes Paket sie beansprucht, und bestücken diese Pakete dann mit Malware. Jeder, der einen KI-Assistenten fragt „Wie installiere ich X?" und die Ausgabe wortwörtlich befolgt, wird zu einem potenziellen Einfallstor.\n\nDer Begriff „Squatting" leitet sich vom Typosquatting ab, der älteren Praxis, nahezu identische Domainnamen zu registrieren, um falsch eingetippte URLs abzufangen. HalluSquatting ist dieselbe Idee, angewendet auf KI-Ausgaben in großem Maßstab – mit dem Unterschied, dass die KI die Tippfehler automatisch und konsistent über Millionen von Anfragen hinweg erzeugt.\n\nForscher testeten neun prominente KI-Tools und stellten fest, dass alle unter den richtigen Prompt-Bedingungen Pakete empfehlen würden, die nicht existieren. Die spezifischen Plattformen wurden in der frühen Berichterstattung nicht alle namentlich genannt, aber die Breite – neun Tools – signalisiert, dass dies keine Eigenheit eines schlecht abgestimmten Modells ist. Es ist eine strukturelle Eigenschaft der Art und Weise, wie LLMs mit Unsicherheit umgehen.\n\n## Das spezifische Risiko für KI-gestützte kreative Workflows\n\nFür KI-Kunst-Ersteller liegt die unmittelbare Gefährdung nicht in der Bildgenerierung selbst – sondern in der umgebenden Toolchain. Workflows rund um Stable Diffusion, ComfyUI, automatic1111 oder benutzerdefinierte ControlNet-Pipelines erfordern häufig die Installation von Python-Paketen, Erweiterungen und Nodes. Wenn Kreative auf ein Einrichtungsproblem stoßen und einen KI-Coding-Assistenten um Hilfe bitten, befinden sie sich direkt im HalluSquatting-Terrain.\n\nEin Kreativer, der einen benutzerdefinierten ComfyUI-Node debuggt oder versucht, eine neue LoRA-Training-Abhängigkeit über pip zu installieren, ist genau der Nutzer, auf den dieser Angriff abzielt. Der KI-Assistent klingt autoritativ. Der Paketname wirkt legitim. Der Installationsbefehl ist syntaktisch korrekt. Die Malware läuft unbemerkt.\n\nDasselbe Risiko gilt für alle, die KI-Tools verwenden, um Automatisierungsskripte für Batch-Generierung, API-Integrationen oder Model-Fine-Tuning-Pipelines zu erstellen – alles gängige Bestandteile ernsthafter KI-Kunst-Workflows.\n\n## Warum die üblichen Sicherheitsratschläge hier nicht ausreichen\n\nStandardratschläge – Software aktuell halten, nichts von unbekannten Quellen herunterladen – lassen sich nicht sauber auf diese Bedrohung übertragen. Die Quelle hier ist ein vertrauenswürdiges KI-Tool, das der Nutzer bewusst gewählt hat. Das Paket-Repository (PyPI, npm) ist dasselbe, das auch legitime Software nutzt. Zum Zeitpunkt der Installation gibt es kein offensichtliches Warnsignal.\n\nDie einzige zuverlässige Verteidigung besteht darin, jeden Paketnamen unabhängig zu überprüfen, bevor ein Installationsbefehl ausgeführt wird: die offizielle Dokumentation der Bibliothek prüfen, bestätigen, dass das Paket im Repository existiert, bevor es installiert wird, und Download-Zahlen sowie Veröffentlichungsdaten als grundlegende Plausibilitätsprüfung heranziehen. Ein Paket mit 12 Downloads, das letzten Dienstag veröffentlicht wurde, ist ein Warnsignal – unabhängig davon, wie selbstsicher eine KI es empfohlen hat.\n\nEs gibt kein Modell-Update, das diese Lücke vollständig schließt. Halluzination ist eine probabilistische Eigenschaft aktueller LLM-Architekturen, kein Bug mit einem bekannten Patch. Anthropic, OpenAI und andere haben Fortschritte bei der Reduzierung von Halluzinationsraten erzielt, aber „reduziert" ist nicht „eliminiert" – und Angreifer brauchen das Modell nur einmal falsch liegen.\n\nFür Kreative, die komplexe lokale Pipelines aufbauen, ist es inzwischen eine praktische Sicherheitsgewohnheit – nicht nur theoretische Vorsicht –, KI-generierte Installationsanweisungen als Ausgangspunkt zur Überprüfung zu behandeln und nicht als endgültige Antwort.
