Esplora i modelli e gli stili dietro storie come questa: account gratuito e galleria al volo.
OpenAI e Broadcom hanno presentato congiuntamente Jalapeño, il primo silicio personalizzato di OpenAI — un ASIC progettato specificamente per l'inferenza AI — segnando la prima mossa concreta dell'azienda verso una riduzione della dipendenza dalle GPU Nvidia per servire i propri modelli.
La maggior parte delle notizie sui chip nell'AI si concentra sul training — gli enormi cluster di GPU che insegnano a un modello i propri pesi. L'inferenza è l'altra metà: ogni volta che invii un prompt e ricevi una risposta, si tratta di inferenza. È anche la parte dello stack che funziona in modo continuo, su scala massiva, e determina direttamente quanto costa a OpenAI rispondere a una query.
Jalapeño è un ASIC, il che significa che ogni transistor è ottimizzato per una sola cosa. A differenza di un Nvidia H100 — un acceleratore flessibile e di uso generale in grado di addestrare modelli, eseguire simulazioni o renderizzare grafica — un ASIC scambia la flessibilità con l'efficienza. I TPU di Google e i chip Inferentia di Amazon seguono la stessa logica. Per l'inferenza in particolare, questo compromesso di solito vince: minor consumo energetico, costo per token più basso e spesso latenza ridotta.
Per i creator che utilizzano le API di OpenAI o GPT-4o tramite ChatGPT, l'effetto pratico a monte è semplice: un'inferenza più economica per OpenAI dovrebbe tradursi nel tempo in limiti di frequenza più generosi, prezzi API più bassi o tempi di risposta più rapidi — anche se nessuno di questi risultati è garantito o previsto in una tempistica dichiarata.
Broadcom è uno dei principali partner per la produzione di ASIC AI personalizzati — produce già la linea TPU di Google. Il suo coinvolgimento con Jalapeño di OpenAI suggerisce che il chip sia un pezzo di silicio serio e di livello produttivo, piuttosto che un prototipo di ricerca. Secondo quanto riportato da The Verge e TechCrunch, il chip è esplicitamente destinato alla distribuzione nell'infrastruttura di inferenza di OpenAI, non solo a essere testato in laboratorio.
Il nome Jalapeño si discosta dalla nomenclatura alfanumerica arida del silicio tipico dei data center, il che è o un segnale di branding o semplicemente un nome in codice interno rimasto tale — OpenAI non ha fornito chiarimenti.
OpenAI ha speso miliardi in GPU Nvidia e rimane uno dei maggiori clienti dell'azienda. Jalapeño non cambia questo scenario dall'oggi al domani. Il training dei modelli frontier richiede ancora l'hardware più recente di Nvidia — i cluster H100 e B200 che OpenAI, Microsoft Azure e altri si sono affrettati ad acquisire. Ciò che Jalapeño può fare è ridurre il numero di chip Nvidia di cui OpenAI ha bisogno per gestire il carico di inferenza che cresce con ogni nuovo utente.
Come riportato da Ars Technica, il chip è inquadrato come parte della strategia più ampia di OpenAI per stare al passo con la domanda in forte crescita — un problema che ha causato rallentamenti e limitazioni di frequenza visibili per gli utenti delle API nei periodi di picco. Un ASIC di inferenza dedicato che opera in parallelo con i cluster GPU è il playbook standard: Google ha percorso questa transizione nel corso di diverse generazioni di TPU prima che i propri costi di inferenza scendessero in modo significativo.
Oggi non cambia nulla. Jalapeño è stato annunciato, ma non ancora distribuito su larga scala. La traiettoria conta però per chiunque costruisca pipeline di generazione di immagini, flussi di lavoro con prompt o strumenti per personaggi basati sulle API di OpenAI. Se OpenAI riesce a servire l'inferenza a costi inferiori sul proprio silicio, la curva dei costi per GPT-4o e i modelli futuri si abbassa — e questo è il costo di input per ogni strumento nell'ecosistema che chiama gli endpoint di OpenAI.
I creator che già confrontano i costi dei modelli tra i vari provider prima di impegnarsi in un flusso di lavoro dovrebbero monitorare se i prezzi delle API di OpenAI si muovono nei prossimi due o tre trimestri. Questa è la finestra temporale realistica perché un ASIC appena annunciato raggiunga una scala di distribuzione significativa. Nel frattempo, l'annuncio conferma che OpenAI considera la capacità di inferenza — non solo le capacità del modello — come una variabile competitiva fondamentale in vista di qualunque cosa venga dopo GPT-4o.
