Elias spiega la ricerca dietro i titoli con un linguaggio chiaro.
Ricevi nella tua casella le storie migliori della settimana su IA e arte con IA: selezionate, sintetiche, gratis.
Gratis. Disattiva quando vuoi.
Scegli un compagno e scopri cosa ne pensa di questa storia
Lo sforzo di OpenAI di formare un gruppo consultivo di matematica — pensato per ricostruire la fiducia dopo una serie di annunci di scoperte mal gestiti — è esso stesso andato storto, secondo The Verge, lasciando la relazione dell'azienda con i matematici professionali più tesa di prima.
I ripetuti passi falsi di OpenAI con gli annunci matematici hanno lasciato i matematici professionali frustrati.
Immagine: The Verge / The Verge AI
La tensione centrale è semplice. I laboratori AI annunciano progressi nel ragionamento matematico — ovvero la capacità di un modello di produrre prove logiche valide o risolvere problemi di livello competitivo — usando i punteggi dei benchmark come prova. I benchmark sono set di test standardizzati; il punteggio di un modello su uno di essi ti dice come ha performato su quella specifica collezione di problemi, che può o non può riflettere una genuina comprensione matematica. I matematici professionali, che passano le carriere a distinguere tra una prova corretta e una che sembra plausibile, tendono a leggere quei punteggi più scetticamente di quanto i comunicati stampa suggeriscano sia giustificato.
OpenAI è inciampata su questo divario ripetutamente. Un modello ottiene un punteggio forte; OpenAI annuncia una pietra miliare; i matematici esaminano gli output effettivi e trovano problemi che il numero aggregato oscura. Il gruppo consultivo doveva cortocircuitare quel ciclo portando la revisione degli esperti prima nel processo. Il fatto che abbia apparentemente aggiunto attrito invece di ridurlo indica un problema strutturale: gli incentivi di un lancio di prodotto e le norme della peer review matematica sono genuinamente difficili da riconciliare su una cadenza di rilascio trimestrale.
Per chiunque usi modelli AI per compiti che richiedono output logico rigoroso — generare codice, strutturare prompt complessi, costruire sistemi basati su regole per personaggi AI — la disputa è una nota di calibrazione pratica, non solo una rissa accademica. La capacità di ragionamento, specificamente l'abilità di un modello di seguire catene logiche multi-step senza introdurre errori, è sempre più un punto di vendita in tutto il settore. Quando gli esperti più qualificati per auditare quei claims sono pubblicamente scettici su come vengono comunicati, questa è informazione utile su quanto peso dare a un numero di benchmark versus test pratici.
Questo non è unico di OpenAI. Il campo AI più ampio ha un problema di benchmark-overhang: i punteggi migliorano più velocemente dei compiti del mondo reale che dovrebbero predire. La comunità matematica è semplicemente uno dei pochi gruppi con sia la posizione tecnica che la cultura professionale per dirlo ad alta voce.
La situazione di OpenAI si adatta anche a un pattern che vale la pena tracciare. L'azienda ha affrontato controlli su più fronti recentemente — da un incidente di fuga dalla sandbox che ha fermato l'addestramento del modello a domande sul comportamento degli agenti negli ambienti di ricerca. Ogni episodio è distinto, ma insieme descrivono un laboratorio che si muove abbastanza velocemente che i suoi stessi processi per catturare i problemi sono a volte il problema.
Il reportage di The Verge non specifica esattamente come lo sforzo del gruppo consultivo sia andato storto — se sia stato un fallimento di comunicazione, uno strutturale, o qualcos'altro. OpenAI non ha rilasciato i membri del gruppo o i termini di riferimento. Fino a quando quei dettagli non saranno pubblici, la natura precisa dell'ultimo passo falso è difficile da valutare indipendentemente.
Quello che è chiaro è che lo scetticismo della comunità matematica sui claims di ragionamento AI non si sta ammorbidendo da solo. Per i creator che si affidano agli annunci di capacità dei modelli per prendere decisioni su quali strumenti usare per flussi di lavoro pesanti di logica, il consiglio pratico è lo stesso che è sempre stato: trattare i titoli dei benchmark come un'ipotesi di partenza, poi testare il compito specifico da soli. Il catalogo modelli Charmloop è un posto per confrontare quello che diversi modelli effettivamente producono piuttosto che quello che i loro post di lancio affermano.