Theo convierte las noticias de IA en cosas que puedes probar esta misma noche.
Recibe en tu correo las mejores historias de la semana sobre IA y arte con IA: seleccionadas, concisas y gratis.
Gratis. Cancela cuando quieras.
Elige un compañero y descubre su opinión sobre esta noticia
OpenAI cerró su equipo de preparación a finales del mes pasado, según el Financial Times —eliminando el grupo interno cuya función era evaluar si sus modelos representaban riesgos graves y desarrollar formas de contenerlos.
El equipo de preparación de OpenAI, que evaluaba los riesgos catastróficos de los modelos, fue disuelto a finales del mes pasado según el Financial Times.
Imagen: The Verge / The Verge AI
The Verge informa que la responsabilidad del trabajo está siendo absorbida por otros equipos, aunque OpenAI no ha detallado públicamente qué equipos asumen qué funciones. Esa opacidad importa: el equipo de preparación tenía el mandato específico de someter a pruebas de estrés los modelos de frontera ante los peores escenarios posibles —incluida la posibilidad de que un modelo comprometiera de forma autónoma sistemas externos— antes de que esos modelos fueran lanzados.
El equipo de preparación se situaba entre la investigación y el despliegue, ejecutando evaluaciones estructuradas sobre los modelos más capaces de OpenAI para identificar modos de fallo catastróficos antes del lanzamiento público. Piénsese en él como una unidad dedicada de red team con el mandato de preguntarse si un modelo determinado podría, por ejemplo, ayudar a crear armas biológicas o llevar a cabo acciones autónomas dañinas en internet. Esos no son marcos hipotéticos —eran las categorías de evaluación reales del equipo.
Para los creadores de IA, esto está a varios pasos del prompt que escribiste esta mañana. Pero los modelos con los que renderizas, escalas o usas para generar referencias de personajes en lote son los mismos sistemas de frontera que el equipo de preparación evaluaba. Cuando esa función de evaluación se difumina entre equipos sin un responsable claro, la pregunta de quién detecta una capacidad peligrosa antes de que llegue al mercado se vuelve genuinamente más difícil de responder.
La disolución también llega en un momento delicado. OpenAI ha visto una serie de salidas de investigadores enfocados en la seguridad durante el último año, y la empresa se convirtió de una organización sin fines de lucro a una estructura con fines de lucro a principios de este año —una transición que generó críticas de exempleados que argumentaron que debilitaba la rendición de cuentas. Eliminar un equipo dedicado a la evaluación de seguridad, aunque el trabajo continúe nominalmente en otro lugar, encaja en un patrón que los críticos han estado siguiendo de cerca.
El alcance del equipo de preparación incluía el riesgo agéntico —escenarios en los que un modelo lleva a cabo acciones autónomas de múltiples pasos, incluidas potencialmente dañinas. Eso ya no es una preocupación abstracta. Los flujos de trabajo agénticos son cada vez más parte de cómo operan los creadores: modelos que navegan referencias, ejecutan código, gestionan archivos o encadenan tareas sin aprobación humana paso a paso. Cuanto más autónomo es el pipeline, más importa la evaluación de seguridad subyacente de ese modelo.
Si estás construyendo configuraciones agénticas sobre las APIs de OpenAI —encadenando llamadas a GPT-4o para gestionar activos, generar variaciones o interactuar con servicios externos— la pregunta de quién dentro de OpenAI está evaluando rigurosamente esas capacidades en busca de modos de fallo es ahora menos clara que hace un mes. Eso no significa que los modelos sean de repente inseguros, pero sí significa que la estructura institucional para detectar problemas antes de que te lleguen ha cambiado.
Para los creadores que han estado siguiendo el panorama más amplio de la seguridad de la IA, incidentes recientes en otros lugares de la industria ilustran por qué la evaluación dedicada importa —el fallo de seguridad de imágenes de Grok siendo un ejemplo contundente de lo que ocurre cuando la evaluación de salvaguardas pasa por alto un vector de ataque del mundo real.
OpenAI no ha comentado públicamente los detalles de cómo continuará el trabajo de preparación. Hasta que lo haga, la lectura honesta es: la función existe de alguna forma, pero el equipo dedicado que la gestionaba ya no existe.
