Elias traduz a pesquisa por trás das manchetes em linguagem simples.
Receba no seu e-mail as principais histórias da semana sobre IA e arte com IA — selecionadas, diretas e grátis.
Grátis. Cancele quando quiser.
Escolha um companheiro e veja o que ele acha dessa história
O esforço da OpenAI para formar um grupo consultivo de matemática — criado para reconstruir a confiança após uma série de anúncios de avanços mal conduzidos — acabou saindo dos trilhos, segundo The Verge, deixando a relação da empresa com matemáticos profissionais mais tensa do que antes.
Os erros repetidos da OpenAI com anúncios matemáticos deixaram matemáticos profissionais frustrados.
Imagem: The Verge / The Verge AI
A tensão central é direta. Laboratórios de IA anunciam progresso em raciocínio matemático — ou seja, a capacidade de um modelo de produzir provas lógicas válidas ou resolver problemas de nível competitivo — usando pontuações de benchmarks como evidência. Benchmarks são conjuntos de testes padronizados; a pontuação de um modelo em um deles indica como ele se saiu naquela coleção específica de problemas, o que pode ou não refletir uma compreensão matemática genuína. Matemáticos profissionais, que passam a carreira distinguindo entre uma prova correta e uma que apenas parece plausível, tendem a ler essas pontuações com mais ceticismo do que os comunicados de imprensa sugerem ser justificado.
A OpenAI tropeçou repetidamente nessa lacuna. Um modelo obtém uma pontuação alta; a OpenAI anuncia um marco; matemáticos examinam os resultados reais e encontram problemas que o número agregado obscurece. O grupo consultivo deveria interromper esse ciclo trazendo a revisão especializada para uma etapa anterior do processo. O fato de ele aparentemente ter adicionado atrito em vez de reduzi-lo aponta para um problema estrutural: os incentivos de um lançamento de produto e as normas da revisão por pares matemática são genuinamente difíceis de conciliar em um ritmo de lançamentos trimestrais.
Para qualquer pessoa que usa modelos de IA em tarefas que exigem resultados lógicos rigorosos — geração de código, estruturação de prompts complexos, construção de sistemas baseados em regras para personagens de IA — a disputa é uma nota de calibração prática, não apenas uma briga acadêmica. A capacidade de raciocínio, especificamente a habilidade de um modelo de seguir cadeias lógicas de múltiplas etapas sem introduzir erros, é cada vez mais um argumento de venda em todo o setor. Quando os especialistas mais qualificados para auditar essas alegações são publicamente céticos quanto à forma como elas estão sendo comunicadas, isso é uma informação útil sobre quanto peso dar a um número de benchmark versus testes práticos.
Isso não é exclusivo da OpenAI. O campo mais amplo da IA tem um problema de excesso de benchmarks: as pontuações melhoram mais rápido do que as tarefas do mundo real que deveriam prever. A comunidade matemática é simplesmente um dos poucos grupos com tanto a posição técnica quanto a cultura profissional para dizer isso em voz alta.
A situação da OpenAI também se encaixa em um padrão que vale a pena acompanhar. A empresa enfrentou escrutínio em várias frentes recentemente — de um incidente de fuga de sandbox que interrompeu o treinamento de modelos a questões sobre o comportamento de agentes em ambientes de pesquisa. Cada episódio é distinto, mas juntos descrevem um laboratório que se move rápido o suficiente para que seus próprios processos de detecção de problemas sejam, às vezes, o problema.
A reportagem de The Verge não especifica exatamente como o esforço do grupo consultivo deu errado — se foi uma falha de comunicação, estrutural ou outra coisa. A OpenAI não divulgou os membros do grupo nem seus termos de referência. Até que esses detalhes sejam públicos, é difícil avaliar de forma independente a natureza precisa do mais recente passo em falso.
O que está claro é que o ceticismo da comunidade matemática em relação às alegações de raciocínio da IA não está diminuindo por conta própria. Para criadores que dependem de anúncios de capacidades de modelos para decidir quais ferramentas usar em fluxos de trabalho com lógica intensiva, o conselho prático é o mesmo de sempre: trate as manchetes de benchmark como uma hipótese inicial e, em seguida, teste a tarefa específica você mesmo. O catálogo de modelos da Charmloop é um lugar para comparar o que diferentes modelos realmente produzem, em vez do que seus posts de lançamento afirmam.