Der Stadtanwalt von San Francisco hat Apple und Google angewiesen, KI-Nudify-Apps aus ihren jeweiligen App Stores zu entfernen, mit der Begründung, dass beide Unternehmen – wahrscheinlich in Millionenhöhe an Gebühren – von Tools profitiert haben, die zur Erstellung nicht-konsensueller intimer Bilder entwickelt wurden.
Wichtigste Erkenntnisse
- Der Stadtanwalt von San Francisco hat Apple und Google formelle Anordnungen erteilt, KI-Nudify-Apps aus dem App Store und Google Play zu entfernen.
- Offizielle Schätzungen zufolge haben beide Plattformen gemeinsam Millionen an Gebühren durch diese Apps eingenommen.
- Die Maßnahme richtet sich gegen die Plattformen als kommerzielle Nutznießer, nicht nur gegen die App-Entwickler selbst.
- Es handelt sich um den bislang direktesten staatlichen Druck auf große App Stores, KI-Bildgenerierungstools, die nicht-konsensuelle intime Bilder erzeugen, zu kontrollieren.
- Weder Apple noch Google hat zum Zeitpunkt der Veröffentlichung der Anordnung öffentlich die Einhaltung bestätigt.
Das Argument der Plattform als Profiteur
Laut Ars Technica hat das Büro des Stadtanwalts den Fall klar um das Thema Geld herum formuliert: Apple und Google hosten diese Apps nicht nur passiv – sie kassieren einen standardmäßigen Anteil von 15–30 % an In-App-Käufen und Abonnementgebühren. Wenn Nudify-Apps über Abonnements monetarisieren, fließt dieser Umsatz direkt an die Plattformen. Die Rechtstheorie besagt, dass die Annahme dieses Anteils beide Unternehmen zu aktiven Teilnehmern am Schaden macht, nicht zu neutralen Vermittlern.
Diese Rahmung ist für das breitere KI-Kunst-Ökosystem von Bedeutung. Regulierungsbehörden behandeln die Infrastrukturebene – App Stores, API-Anbieter, Cloud-Hosts – zunehmend als rechtlich verantwortlich für das, was darauf läuft. Dieselbe Logik, die auf Nudify-Apps angewendet wird, könnte in zukünftigen Maßnahmen auf jedes Bildgenerierungstool ausgeweitet werden, das Regulierungsbehörden als in großem Maßstab schädliche Inhalte produzierend einstufen.
Was Nudify-Apps tatsächlich tun – und warum sie anders sind
Nudify-Apps sind eine spezifische Kategorie von KI-Bildtools: Sie nehmen ein bekleidetes Foto einer echten Person und generieren eine synthetische Nacktversion ohne das Wissen oder die Zustimmung dieser Person. Das unterscheidet sie deutlich von allgemeinen KI-Bildgeneratoren, bei denen ein Nutzer ein Bild aus einem Textprompt erstellt oder Referenzbilder hochlädt, über die er die Kontrolle hat. Die nicht-konsensuelle Verwendung des Erscheinungsbilds einer echten Person ist das zentrale rechtliche und ethische Problem, und es ist das, was diese Kategorie von den breiteren kreativen Tools unterscheidet, die KI-Kunstschaffende täglich auf Plattformen wie Charmloops Generator nutzen.
Die Unterscheidung ist es wert, klar zu halten: Diese Maßnahme ist kein Generalangriff auf KI-Bildgenerierung als Praxis. Sie zielt auf einen engen, die Einwilligung verletzenden Anwendungsfall ab. Aber der regulatorische Schwung, den sie aufbaut, ist real, und jede Plattform, die Bildgenerierungstools hostet, beobachtet nun, wie Apple und Google reagieren.
App-Store-Richtlinien waren schon immer das schwache Glied
Sowohl Apple als auch Google haben bestehende Richtlinien, die nominell Apps verbieten, die nicht-konsensuelle intime Bilder generieren. Die Maßnahme des Stadtanwalts ist im Wesentlichen eine Anschuldigung, dass diese Richtlinien nicht durchgesetzt wurden – dass die Apps durch die Überprüfung schlüpften, lange genug aktiv blieben, um erhebliche Abonnementeinnahmen zu generieren, und (wenn überhaupt) nur unter externem Druck entfernt wurden.
Für KI-Schaffende hat diese Durchsetzungslücke eine praktische Konsequenz: Die App Stores sind ein unzuverlässiger Vertriebskanal für jedes KI-Bildtool, das sich an den Grenzen der Inhaltsrichtlinien bewegt. Entwickler, die legitime kreative Tools erstellen, haben sich seit Langem darüber beschwert, dass Apples Überprüfungsprozess inkonsistent und undurchsichtig ist. Dieser Fall fügt politischen Druck hinzu, der Apple und Google zu pauschalen Einschränkungen bei KI-Bildgenerierungs-Apps drängen könnte – die Art von Überkorrektur, die legitime Tools im selben Netz wie schädliche einfängt.
Was als Nächstes kommt
Der Stadtanwalt von San Francisco hat keine Bundesjurisdiktion, sodass die rechtliche Durchsetzungskraft der Anordnung vom kalifornischen Recht und der Bereitschaft von Apple und Google abhängt, zu kooperieren, anstatt zu klagen. Keines der Unternehmen hat öffentlich bestätigt, dass es die markierten Apps entfernen wird. Wenn sie sich widersetzen, könnte der Fall einen Präzedenzfall schaffen – oder die Grenzen der kommunalen Autorität über globale App-Distributionsplattformen aufzeigen.
Für Schaffende, die Workflows rund um KI-Bildtools aufbauen, ist das unmittelbarere Signal legislativer Natur: Mehrere Bundesstaaten und die Bundesregierung treiben Gesetze voran, die nicht-konsensuelle KI-generierte intime Bilder ausdrücklich unter Strafe stellen würden. Diese Gesetze würden im Gegensatz zum Schreiben eines Stadtanwalts durchsetzbare Strafen mit sich bringen und könnten neu gestalten, was Bildgenerierungsmodelle tun dürfen – und welche Sicherheitsfilter Anbieter gesetzlich verpflichtet sind einzubauen. Über diesen regulatorischen Bogen auf dem Laufenden zu bleiben ist ebenso wichtig wie das Verfolgen von Modell-Releases. Unsere frühere Berichterstattung über xAIs Klage gegen Grok-Nutzer wegen CSAM-Generierung zeigt, wie schnell sich die Rechtslage rund um KI-generierte schädliche Bilder entwickelt.
