Theo macht aus KI-News Dinge, die man noch heute Abend ausprobieren kann.
Erhalte die Top-Storys der Woche zu KI und KI-Kunst direkt in dein Postfach — kuratiert, kompakt, kostenlos.
Kostenlos. Jederzeit abbestellbar.
Wähle einen Companion und erfahre seine Meinung zu dieser Story
OpenAI hat sein Preparedness-Team Ende letzten Monats aufgelöst – das berichtet die Financial Times. Damit wurde die interne Gruppe abgeschafft, deren Aufgabe es war, zu beurteilen, ob die eigenen Modelle ernsthafte Risiken darstellen, und Maßnahmen zu deren Eindämmung zu entwickeln.
OpenAIs Preparedness-Team, das katastrophale Modellrisiken bewertet hat, wurde laut Financial Times Ende letzten Monats aufgelöst.
Bild: The Verge / The Verge AI
The Verge berichtet, dass die Verantwortung für diese Arbeit in andere Teams integriert wird – welche Teams welche Funktionen übernehmen, hat OpenAI jedoch nicht öffentlich dargelegt. Diese Intransparenz ist bedeutsam: Das Preparedness-Team war eigens damit beauftragt, Frontier-Modelle vor ihrer Veröffentlichung unter Worst-Case-Szenarien zu testen – einschließlich der Möglichkeit, dass ein Modell autonom externe Systeme kompromittiert.
Das Preparedness-Team war zwischen Forschung und Deployment angesiedelt und führte strukturierte Evaluierungen von OpenAIs leistungsfähigsten Modellen durch, um katastrophale Fehlerszenarien vor der öffentlichen Veröffentlichung zu identifizieren. Man kann es sich als eine dedizierte Red-Team-Einheit vorstellen, die den Auftrag hatte zu prüfen, ob ein bestimmtes Modell beispielsweise bei der Herstellung biologischer Waffen helfen oder autonom schädliche Aktionen im Internet ausführen könnte. Das sind keine hypothetischen Szenarien – es waren die tatsächlichen Evaluierungskategorien des Teams.
Für KI-Kreative ist das einige Schritte von dem Prompt entfernt, den sie heute Morgen eingegeben haben. Doch die Modelle, mit denen gerendert, hochskaliert oder Charakter-Referenzen in Batches generiert werden, sind dieselben Frontier-Systeme, die das Preparedness-Team evaluiert hat. Wenn diese Evaluierungsfunktion ohne klaren Verantwortlichen auf verschiedene Teams verteilt wird, wird die Frage, wer eine gefährliche Fähigkeit abfängt, bevor sie ausgeliefert wird, deutlich schwerer zu beantworten.
Die Auflösung trifft zudem auf einen heiklen Moment. OpenAI hat im vergangenen Jahr eine Reihe von Abgängen sicherheitsorientierter Forscher erlebt, und das Unternehmen hat sich Anfang dieses Jahres von einer gemeinnützigen in eine gewinnorientierte Struktur umgewandelt – ein Schritt, der von ehemaligen Mitarbeitern kritisiert wurde, die argumentierten, er schwäche die Rechenschaftspflicht. Die Abschaffung eines dedizierten Sicherheitsbewertungsteams, auch wenn die Arbeit nominell anderswo weitergeführt wird, fügt sich in ein Muster ein, das Kritiker genau verfolgen.
Der Zuständigkeitsbereich des Preparedness-Teams umfasste agentische Risiken – Szenarien, in denen ein Modell mehrstufige autonome Aktionen ausführt, darunter potenziell schädliche. Das ist keine abstrakte Sorge mehr. Agentische Workflows sind zunehmend Teil der Arbeitsweise von Kreativen: Modelle, die Referenzen durchsuchen, Code ausführen, Dateien verwalten oder Aufgaben ohne schrittweise menschliche Genehmigung verketten. Je autonomer die Pipeline, desto wichtiger ist die zugrundeliegende Sicherheitsbewertung des jeweiligen Modells.
Wer agentische Setups auf Basis von OpenAIs APIs aufbaut – GPT-4o-Aufrufe verkettet, um Assets zu verwalten, Variationen zu generieren oder mit externen Diensten zu interagieren –, für den ist die Frage, wer innerhalb von OpenAI diese Fähigkeiten rigoros auf Fehlerszenarien prüft, jetzt weniger klar als noch vor einem Monat. Das bedeutet nicht, dass die Modelle plötzlich unsicher sind, aber es bedeutet, dass sich die institutionelle Struktur zum Abfangen von Problemen, bevor sie die Nutzer erreichen, verändert hat.
Für Kreative, die das breitere KI-Sicherheitsbild verfolgen, zeigen jüngste Vorfälle anderswo in der Branche, warum dedizierte Evaluierung wichtig ist – der Grok-Bildsicherheitsvorfall ist ein drastisches Beispiel dafür, was passiert, wenn die Bewertung von Schutzmaßnahmen einen realen Angriffsvektor übersieht.
OpenAI hat sich öffentlich nicht zu den Einzelheiten geäußert, wie die Preparedness-Arbeit fortgeführt werden soll. Bis dahin lautet die ehrliche Einschätzung: Die Funktion existiert in irgendeiner Form, aber das dedizierte Team, das sie verantwortet hat, nicht mehr.
