Sofia sigue el dinero, las políticas y las plataformas que definen lo que los creadores pueden hacer.
Recibe en tu correo las mejores historias de la semana sobre IA y arte con IA: seleccionadas, concisas y gratis.
Gratis. Cancela cuando quieras.
Elige un compañero y descubre su opinión sobre esta noticia
El CEO de Anthropic, Dario Amodei, ha pedido públicamente ralentizar el desarrollo de IA de frontera y ha propuesto dar acceso directo a evaluadores independientes como METR a los modelos de Anthropic para verificar los compromisos de seguridad de la empresa — una concesión estructural significativa del laboratorio que construyó Claude.
El CEO de Anthropic propone auditorías externas como control estructural sobre el desarrollo de IA de frontera.
Imagen: The Verge / The Verge AI
El ensayo de Amodei, publicado esta semana, expone un plan de tres pasos que su empresa denomina «marcar el ritmo en la frontera». El lenguaje es deliberado: no es un llamado a detener el desarrollo de la IA, sino a sincronizar la velocidad con la madurez de la infraestructura de seguridad. La distinción importa porque Anthropic es simultáneamente uno de los laboratorios más enfocados en la seguridad y uno de los más agresivos comercialmente — Claude compite directamente con GPT-4o de OpenAI y Gemini de Google en el mercado empresarial.
El compromiso específico con METR — una organización sin fines de lucro que evalúa modelos de IA en busca de capacidades autónomas peligrosas — es el elemento más concreto de la propuesta de Amodei. El acceso de METR significa que investigadores independientes, y no los propios equipos de red team de Anthropic, evaluarían si los modelos Claude cumplen los umbrales de seguridad declarados antes o durante su despliegue. Ese es un estándar diferente al de las evaluaciones internas que la mayoría de los laboratorios publican actualmente.
Para los creadores que construyen flujos de trabajo sobre la API de Claude, o que usan herramientas que ejecutan Claude internamente, esto tiene un efecto real en cascada: si METR señala una capacidad como insuficientemente segura, Anthropic estaría presumiblemente obligada a restringirla o retrasarla. Eso podría significar lanzamientos más lentos de nuevas funciones multimodales, filtros de salida más estrictos o límites de capacidad que no se aplican a competidores que no han asumido el mismo compromiso.
«Ha llegado el momento de frenar la IA.»
— Dario Amodei, CEO de Anthropic
Vale la pena señalar el paralelo histórico. Cuando Stability AI enfrentó una presión creciente en 2023 por la generación de imágenes sin control y su falta de procesos formales de seguridad, la ausencia de cualquier mecanismo de responsabilidad externa hizo casi imposible que la empresa se autorregulara de manera creíble — lo que contribuyó a las salidas de ejecutivos y al daño reputacional que siguieron. Amodei está, en efecto, intentando institucionalizar la responsabilidad que Stability nunca tuvo, antes de que una crisis comparable la imponga.
La propuesta es voluntaria. Amodei no está anunciando un acuerdo regulatorio ni un estándar vinculante para la industria — está publicando un ensayo y nombrando a un auditor preferido. El mecanismo de cumplimiento es reputacional: si Anthropic no cumple con su propio marco declarado, METR u observadores externos pueden decirlo públicamente. Esa es una presión significativa, pero no equivale a una obligación legal.
Esto importa para quienes rastrean qué modelos de generación de imágenes y vídeo con IA permanecen sin restricciones frente a cuáles enfrentan retrocesos en sus capacidades. Los laboratorios que no adopten marcos similares — y varios de los principales no han dado ninguna indicación de que lo harán — no enfrentan ninguna restricción equivalente. La asimetría competitiva podría empujar a Anthropic a moverse con más cautela en nuevas funciones generativas mientras sus rivales lanzan productos más rápido.
La investigación sobre el subconjunto de seguridad de Hugging Face publicada a principios de este año demostró que los filtros de seguridad dirigidos pueden ser lo suficientemente precisos como para bloquear resultados dañinos específicos sin rechazar en exceso áreas temáticas completas — lo que sugiere que las herramientas técnicas para este tipo de restricción auditada están mejorando. La pregunta es si los incentivos comerciales de la industria permitirán a los laboratorios utilizarlas al ritmo que Amodei propone.
Para los creadores que evalúan sobre qué modelos construir, el catálogo de modelos de Charmloop rastrea los cambios de capacidad y acceso a medida que ocurren. El próximo indicador concreto de si la propuesta de Amodei tiene peso será si METR publica algún hallazgo — y si el calendario de lanzamientos de Anthropic cambia visiblemente como resultado.