Przejrzyj modele i style stojące za takimi historiami — darmowe konto i galeria od razu.
OpenAI i Broadcom wspólnie zaprezentowały Jalapeño — pierwszy własny układ scalony OpenAI, czyli ASIC zaprojektowany specjalnie do wnioskowania AI. To pierwszy poważny krok firmy w kierunku uniezależnienia się od procesorów graficznych Nvidii przy obsłudze swoich modeli.
Większość doniesień o chipach w świecie AI dotyczy trenowania — ogromnych klastrów GPU, które uczą model jego wag. Wnioskowanie to druga strona medalu: za każdym razem, gdy wysyłasz prompt i otrzymujesz odpowiedź, właśnie to się dzieje. To także ta część stosu, która działa nieprzerwanie, na ogromną skalę, i bezpośrednio decyduje o tym, ile kosztuje OpenAI odpowiedź na zapytanie.
Jalapeño to układ ASIC, co oznacza, że każdy tranzystor jest zoptymalizowany pod kątem jednego zadania. W przeciwieństwie do Nvidii H100 — elastycznego akceleratora ogólnego przeznaczenia, który może trenować modele, uruchamiać symulacje lub renderować grafikę — ASIC rezygnuje z elastyczności na rzecz wydajności. Układy TPU firmy Google i chipy Inferentia firmy Amazon kierują się tą samą logiką. W przypadku wnioskowania ten kompromis zazwyczaj się opłaca: niższe zużycie energii, niższy koszt na token i często mniejsze opóźnienia.
Dla twórców korzystających z API OpenAI lub GPT-4o przez ChatGPT praktyczny efekt jest prosty: tańsze wnioskowanie dla OpenAI powinno z czasem przełożyć się na bardziej hojne limity zapytań, niższe ceny API lub krótszy czas odpowiedzi — choć żaden z tych rezultatów nie jest gwarantowany ani nie ma określonego harmonogramu.
Broadcom jest jednym z wiodących partnerów w produkcji dedykowanych układów ASIC do AI — wytwarza już linię TPU firmy Google. Jego zaangażowanie w projekt Jalapeño sugeruje, że chip to poważny, produkcyjny kawałek krzemu, a nie prototyp badawczy. Według doniesień The Verge i TechCrunch chip jest wyraźnie przeznaczony do wdrożenia w infrastrukturze wnioskowania OpenAI, a nie tylko do testów laboratoryjnych.
Nazwa Jalapeño odbiega od suchego, alfanumerycznego nazewnictwa typowego dla krzemowych układów centrów danych — może to być sygnał brandingowy albo po prostu wewnętrzny kryptonim, który się przyjął. OpenAI nie wyjaśniło tej kwestii.
OpenAI wydało miliardy na procesory graficzne Nvidii i pozostaje jednym z największych klientów tej firmy. Jalapeño nie zmienia tego z dnia na dzień. Trenowanie modeli granicznych nadal wymaga najnowszego sprzętu Nvidii — klastrów H100 i B200, o które OpenAI, Microsoft Azure i inni gracze zaciekle rywalizują. To, co Jalapeño może zrobić, to ograniczyć liczbę chipów Nvidii potrzebnych OpenAI do obsługi obciążeń wnioskowania, które rosną wraz z każdym nowym użytkownikiem.
Jak donosi Ars Technica, chip jest przedstawiany jako element szerszej strategii OpenAI mającej na celu nadążanie za gwałtownie rosnącym popytem — problemem, który powodował widoczne ograniczenia przepustowości i spowolnienia dla użytkowników API w godzinach szczytu. Dedykowany ASIC do wnioskowania działający równolegle z klastrami GPU to standardowy schemat działania: Google przeprowadził tę transformację przez kilka generacji TPU, zanim jego koszty wnioskowania znacząco spadły.
Dziś nie zmienia się nic. Jalapeño zostało ogłoszone, ale nie jest jeszcze wdrożone na dużą skalę. Jednak kierunek zmian ma znaczenie dla każdego, kto buduje pipeline'y do generowania obrazów, przepływy pracy z promptami lub narzędzia do tworzenia postaci na bazie API OpenAI. Jeśli OpenAI będzie mogło obsługiwać wnioskowanie taniej na własnym krzemie, krzywa kosztów GPT-4o i przyszłych modeli pójdzie w dół — a to koszt wejściowy dla każdego narzędzia w ekosystemie, które wywołuje endpointy OpenAI.
Twórcy, którzy już teraz porównują koszty modeli u różnych dostawców przed wyborem przepływu pracy, powinni obserwować, czy ceny API OpenAI zmienią się w ciągu najbliższych dwóch lub trzech kwartałów. To realistyczne okno czasowe, w którym nowo ogłoszony ASIC może osiągnąć znaczącą skalę wdrożenia. W międzyczasie ogłoszenie potwierdza, że OpenAI traktuje zdolność do wnioskowania — nie tylko możliwości modeli — jako kluczową zmienną konkurencyjną w tym, co nastąpi po GPT-4o.
