Hugging Face hostet Deepfake-„Undress"-Modelle mit minimaler Moderation, zeigt Bericht

Sieben der neun meistgenutzten Bildbearbeitungsmodelle auf Hugging Face erzeugen auf Anfrage nicht einvernehmliche Nacktbilder – das geht aus einem neuen Bericht der europäischen gemeinnützigen Organisation AI Forensics hervor, der die Open-Model-Richtlinien der Plattform direkt unter die Lupe nimmt.\n\n## Die wichtigsten Erkenntnisse\n\n- AI Forensics, eine europäische gemeinnützige Organisation, testete die meistgenutzten Bildbearbeitungsmodelle auf Hugging Face und stellte fest, dass 7 von 9 Anfragen zur Erzeugung nicht einvernehmlicher Nackt-Deepfakes von Frauen und Kindern nachkamen.\n- Hugging Face, das größte Open-Source-Repository für KI-Modelle, hat die beanstandeten Modelle zum Zeitpunkt der Veröffentlichung des Berichts nicht entfernt.\n- Die betreffenden Modelle sind öffentlich zugänglich, ohne nennenswerte Altersverifikation oder Einwilligungsschutzmaßnahmen.\n- Die Ergebnisse erhöhen den regulatorischen Druck auf Plattformen, die offene Modelle hosten und bislang weniger Aufmerksamkeit erhalten haben als verbraucherorientierte KI-Apps.\n- Für KI-Kunstschaffende signalisiert der Bericht, dass das breitere Open-Model-Ökosystem mit neuen Inhaltsbeschränkungen konfrontiert werden könnte, die legitime Bildgenerierungs-Workflows beeinträchtigen.\n\n\n\n## Was AI Forensics tatsächlich herausfand\n\nDer AI-Forensics-Bericht, von The Verge aufgegriffen, konzentrierte sich gezielt auf die meistgeladenen Bildbearbeitungsmodelle auf Hugging Face – nicht auf obskure, versteckte Repositories, sondern auf die Spitzenreiter der Charts. Die Forschenden stellten fest, dass diese Modelle Prompts befolgten, die darauf ausgelegt waren, Kleidung von Fotos realer Personen zu entfernen, darunter auch Minderjährige. Die Reaktion der Plattform war laut Bericht minimal.\n\nHugging Face nimmt eine einzigartige Stellung im KI-Ökosystem ein: Es ist gleichzeitig der weltweit größte Hub für Open-Weight-Modelle und eine kritische Infrastrukturkomponente für unabhängige Kreative, die Modelle lokal betreiben oder für spezifische Aufgaben feinabstimmen möchten. Diese Doppelrolle macht Content-Moderation genuinen komplex. Die Entfernung eines Modells, das hunderttausende Male heruntergeladen wurde, beeinträchtigt legitime Anwendungsfälle ebenso wie schädliche – doch es online zu lassen bedeutet in der Praxis, dass die Plattform ein Werkzeug für Missbrauch verbreitet.\n\n## Die Moderationslücke beim Hosting offener Modelle\n\nGeschlossene Plattformen – Midjourney, Adobe Firefly, OpenAIs Bildtools – setzen Inhaltsrichtlinien auf der Inferenzebene durch. Jede Generierungsanfrage durchläuft einen Filter. Open-Weight-Modelle, die auf Hugging Face gehostet werden, funktionieren anders. Sobald ein Modell heruntergeladen ist, bestimmt der Betreiber, was es tut und was nicht. Der einzige echte Hebel der Plattform ist die Entscheidung, ob sie das Modell überhaupt hostet.\n\nGenau auf diese Lücke weist der AI-Forensics-Bericht hin. Hugging Face verfügt zwar über Inhaltsrichtlinien, die Modelle zur Erzeugung von Kindesmissbrauchsmaterial und nicht einvernehmlichen intimen Bildern verbieten, doch die Durchsetzung scheint inkonsistent. Die gemeinnützige Organisation stellte fest, dass die problematischen Modelle nicht versteckt waren – sie rangierten nach Downloadanzahl ganz oben in den Suchergebnissen.\n\nFür Kreative, die auf Hugging Face angewiesen sind, um auf Diffusionsmodelle und Fine-Tunes zuzugreifen, hat dies praktische Relevanz. Ein regulatorischer Gegenschlag gegen die Plattform könnte Beschränkungen für öffentlich hostbare Modelle beschleunigen, was wiederum den Pool an Open-Weight-Optionen für legitime kreative Arbeit einschränkt. Das KI-Gesetz der EU und verschiedene nationale Deepfake-Gesetze bewegen sich bereits in diese Richtung; ein hochkarätiger Bericht wie dieser tendiert dazu, diesen Zeitplan zu beschleunigen.\n\n## Druck auf das Open-Weight-Ökosystem\n\nEs ist nicht das erste Mal, dass Hugging Face wegen gehosteter Inhalte in der Kritik steht – frühere Kontroversen betrafen Modellsicherheit und unbefugten Zugriff –, doch die Erkenntnisse von AI Forensics sind gezielter, weil sie einen spezifischen, wiederholbaren Schaden dokumentieren und kein theoretisches Risiko.\n\nDie praktischen Konsequenzen für Kreative verdienen genaue Beobachtung. Sollte Hugging Face mit umfassenderem automatisiertem Filtern oder strengeren Upload-Anforderungen reagieren, wird diese Hürde für jedes Modell auf der Plattform gelten – nicht nur für die schädlichen. Kreative, die derzeit Bildgenerierungsmodelle direkt vom Hub für lokale Workflows beziehen, könnten weniger Optionen vorfinden oder neue Verifizierungsanforderungen für den Zugriff auf bestimmte Modellklassen antreffen.\n\nDer Bericht erscheint zudem zu einem Zeitpunkt, an dem die Open-Weight-Community bereits Branchendruck rund um Modellbeschränkungen navigiert. Die Ergänzung von Bedenken zu nicht einvernehmlichen Deepfakes in diese Debatte gibt Regulierungsbehörden einen konkreten Schaden, auf den sie verweisen können – was eine andere Art von Druck darstellt als abstrakte Sicherheitsargumente.