Blader door de modellen en stijlen achter verhalen als dit — gratis account, meteen een galerij.
OpenAI en Broadcom hebben gezamenlijk Jalapeño onthuld, OpenAI's eerste eigen silicon — een ASIC die specifiek is ontworpen voor AI-inferentie — en daarmee zet het bedrijf zijn eerste serieuze stap weg van de afhankelijkheid van Nvidia-GPU's voor het aanbieden van zijn modellen.
Het meeste chipnieuws in AI richt zich op training — de enorme GPU-clusters die een model zijn gewichten bijbrengen. Inferentie is de andere helft: elke keer dat je een prompt verstuurt en een antwoord krijgt, is dat inferentie. Het is ook het deel van de stack dat continu draait, op massale schaal, en dat rechtstreeks bepaalt hoeveel het OpenAI kost om een query te beantwoorden.
Jalapeño is een ASIC, wat betekent dat elke transistor erop is geoptimaliseerd voor één ding. In tegenstelling tot een Nvidia H100 — een flexibele, algemene accelerator die modellen kan trainen, simulaties kan uitvoeren of graphics kan renderen — ruilt een ASIC flexibiliteit in voor efficiëntie. Google's TPU's en Amazon's Inferentia-chips volgen dezelfde logica. Voor inferentie specifiek wint die afweging doorgaans: lager stroomverbruik, lagere kosten per token en vaak lagere latentie.
Voor makers die OpenAI's API of GPT-4o via ChatGPT gebruiken, is het praktische stroomopwaartse effect eenvoudig: goedkopere inferentie voor OpenAI zou uiteindelijk moeten leiden tot ruimere limieten, lagere API-prijzen of snellere responstijden — hoewel geen van die uitkomsten gegarandeerd is of op een vastgestelde tijdlijn staat.
Broadcom is een van de toonaangevende foundry-partners voor aangepaste AI-ASIC's — het bedrijf produceert al Google's TPU-lijn. De betrokkenheid bij OpenAI's Jalapeño suggereert dat de chip een serieus, productieklaar stuk silicon is in plaats van een onderzoeksprototype. Volgens berichtgeving van The Verge en TechCrunch is de chip expliciet bedoeld voor inzet in OpenAI's inferentie-infrastructuur, niet alleen voor benchmarks in een lab.
De naam Jalapeño wijkt af van de droge alfanumerieke naamgeving van de meeste datacenter-silicon, wat ofwel een branding-signaal is of gewoon een interne codenaam die is blijven hangen — OpenAI heeft dit niet verduidelijkt.
OpenAI heeft miljarden uitgegeven aan Nvidia-GPU's en blijft een van de grootste klanten van het bedrijf. Jalapeño verandert dat niet van de ene op de andere dag. Het trainen van grensverleggende modellen vereist nog steeds Nvidia's nieuwste hardware — de H100- en B200-clusters die OpenAI, Microsoft Azure en anderen hebben staan te verwerven. Wat Jalapeño kan doen, is het aantal Nvidia-chips verminderen dat OpenAI nodig heeft om de inferentielast te verwerken die met elke nieuwe gebruiker toeneemt.
Zoals gerapporteerd door Ars Technica wordt de chip gepresenteerd als onderdeel van OpenAI's bredere strategie om de sterk stijgende vraag bij te houden — een probleem dat heeft geleid tot zichtbare snelheidsbeperkingen en vertragingen voor API-gebruikers tijdens piekperioden. Een dedicated inferentie-ASIC die parallel aan GPU-clusters draait, is het standaard draaiboek: Google doorliep deze overgang over meerdere TPU-generaties voordat de inferentiekosten merkbaar daalden.
Er verandert vandaag niets. Jalapeño is aangekondigd, maar nog niet op schaal ingezet. Maar de richting is belangrijk voor iedereen die beeldgeneratiepipelines, promptworkflows of karaktertools bouwt bovenop OpenAI's API. Als OpenAI inferentie goedkoper kan aanbieden op eigen silicon, buigt de kostencurve voor GPT-4o en toekomstige modellen naar beneden — en dat zijn de inputkosten voor elk tool in het ecosysteem dat OpenAI's endpoints aanroept.
Makers die al modelkosten vergelijken bij verschillende aanbieders voordat ze zich vastleggen op een workflow, moeten in de gaten houden of OpenAI's API-prijzen de komende twee à drie kwartalen bewegen. Dat is het realistische tijdvenster voor een nieuw aangekondigde ASIC om een betekenisvolle inzetschaal te bereiken. In de tussentijd bevestigt de aankondiging dat OpenAI inferentiecapaciteit — niet alleen modelcapabiliteit — behandelt als een kernvariabele in de concurrentiestrijd voor wat er na GPT-4o komt.
