Elias explica la investigación detrás de los titulares en lenguaje claro.
Recibe en tu correo las mejores historias de la semana sobre IA y arte con IA: seleccionadas, concisas y gratis.
Gratis. Cancela cuando quieras.
Elige un compañero y descubre su opinión sobre esta noticia
El esfuerzo de OpenAI por formar un grupo asesor de matemáticas —concebido para reconstruir la confianza tras una serie de anuncios de avances mal gestionados— ha terminado torcido, según The Verge, dejando la relación de la empresa con los matemáticos profesionales más tensa que antes.
Los repetidos tropiezos de OpenAI con los anuncios matemáticos han dejado frustrados a los matemáticos profesionales.
Imagen: The Verge / The Verge AI
La tensión central es sencilla. Los laboratorios de IA anuncian avances en razonamiento matemático —es decir, la capacidad de un modelo para producir demostraciones lógicas válidas o resolver problemas de nivel competitivo— utilizando puntuaciones de benchmarks como evidencia. Los benchmarks son conjuntos de pruebas estandarizadas; la puntuación de un modelo en uno de ellos indica cómo se desempeñó en esa colección específica de problemas, lo que puede o no reflejar una comprensión matemática genuina. Los matemáticos profesionales, que dedican sus carreras a distinguir entre una demostración correcta y una que solo lo parece, tienden a leer esas puntuaciones con más escepticismo del que los comunicados de prensa sugieren que está justificado.
OpenAI ha tropezado repetidamente con esta brecha. Un modelo obtiene una puntuación alta; OpenAI anuncia un hito; los matemáticos examinan los resultados reales y encuentran problemas que el número agregado oculta. Se suponía que el grupo asesor cortocircuitaría ese ciclo incorporando la revisión experta antes en el proceso. Que aparentemente haya añadido fricción en lugar de reducirla apunta a un problema estructural: los incentivos de un lanzamiento de producto y las normas de la revisión por pares matemática son genuinamente difíciles de conciliar en un ritmo de lanzamiento trimestral.
Para cualquiera que utilice modelos de IA en tareas que requieren resultados lógicos rigurosos —generar código, estructurar prompts complejos, construir sistemas basados en reglas para personajes de IA—, la disputa es una nota de calibración práctica, no solo una riña académica. La capacidad de razonamiento, específicamente la habilidad de un modelo para seguir cadenas lógicas de varios pasos sin introducir errores, es cada vez más un argumento de venta en toda la industria. Cuando los expertos más cualificados para auditar esas afirmaciones muestran escepticismo público sobre cómo se están comunicando, eso es información útil sobre cuánto peso otorgar a un número de benchmark frente a las pruebas prácticas.
Esto no es exclusivo de OpenAI. El campo de la IA en general tiene un problema de exceso de benchmarks: las puntuaciones mejoran más rápido que las tareas del mundo real que se supone deben predecir. La comunidad matemática es simplemente uno de los pocos grupos con tanto la autoridad técnica como la cultura profesional para decirlo en voz alta.
La situación de OpenAI también encaja en un patrón que vale la pena seguir. La empresa ha enfrentado escrutinio en múltiples frentes recientemente —desde un incidente de escape de sandbox que detuvo el entrenamiento de modelos hasta preguntas sobre el comportamiento de agentes en entornos de investigación—. Cada episodio es distinto, pero en conjunto describen un laboratorio que avanza tan rápido que sus propios procesos para detectar problemas son a veces el problema.
El reportaje de The Verge no especifica exactamente cómo salió mal el esfuerzo del grupo asesor —si fue un fallo de comunicación, uno estructural, o algo más—. OpenAI no ha publicado los miembros del grupo ni sus términos de referencia. Hasta que esos detalles sean públicos, la naturaleza precisa del último tropiezo es difícil de evaluar de forma independiente.
Lo que está claro es que el escepticismo de la comunidad matemática hacia las afirmaciones de razonamiento de la IA no se está suavizando por sí solo. Para los creadores que dependen de los anuncios de capacidades de los modelos para decidir qué herramientas usar en flujos de trabajo con alta carga lógica, el consejo práctico es el mismo de siempre: trata los titulares de benchmarks como una hipótesis de partida y luego prueba la tarea específica tú mismo. El catálogo de modelos de Charmloop es un lugar donde comparar lo que diferentes modelos producen realmente, en lugar de lo que afirman sus publicaciones de lanzamiento.