Böyle hikâyelerin ardındaki modelleri ve stilleri keşfet — ücretsiz hesap, anında galeri.
OpenAI ve Broadcom, OpenAI'nin ilk özel silikon ürünü olan Jalapeño'yu ortaklaşa tanıttı. Yapay zeka çıkarımı için özel olarak tasarlanmış bu ASIC, şirketin modellerini sunmak için Nvidia GPU'larına olan bağımlılığından uzaklaşma yolundaki ilk ciddi adımını temsil ediyor.
Yapay zekadaki çip haberlerinin büyük çoğunluğu eğitime odaklanır; yani bir modele ağırlıklarını öğreten devasa GPU kümelerine. Çıkarım ise madalyonun öbür yüzüdür: bir istem gönderip yanıt aldığınız her an çıkarımdır. Üstelik bu, yığının sürekli çalışan, muazzam ölçekteki ve OpenAI'nin bir sorguya yanıt verme maliyetini doğrudan belirleyen kısmıdır.
Jalapeño bir ASIC olduğundan, üzerindeki her transistör tek bir şey için optimize edilmiştir. Model eğitebilen, simülasyon çalıştırabilen veya grafik işleyebilen esnek ve genel amaçlı bir hızlandırıcı olan Nvidia H100'ün aksine, ASIC esnekliği verimlilik karşılığında feda eder. Google'ın TPU'ları ve Amazon'un Inferentia çipleri de aynı mantığı izler. Özellikle çıkarım söz konusu olduğunda bu takas genellikle kazandırır: daha düşük güç tüketimi, token başına daha düşük maliyet ve çoğunlukla daha düşük gecikme.
OpenAI'nin API'sini veya ChatGPT üzerinden GPT-4o'yu kullanan içerik üreticileri açısından pratik etki oldukça açıktır: OpenAI için daha ucuz çıkarım, zamanla daha cömert hız sınırlarına, daha düşük API fiyatlandırmasına ya da daha hızlı yanıt sürelerine dönüşebilir; ancak bu sonuçların hiçbiri garanti edilmiyor ve belirli bir zaman çizelgesine bağlanmıyor.
Broadcom, özel yapay zeka ASIC'leri için önde gelen döküm ortaklarından biridir; Google'ın TPU serisini zaten üretmektedir. OpenAI'nin Jalapeño'suyla olan iş birliği, çipin bir araştırma prototipi değil, ciddiye alınması gereken üretim kalitesinde bir silikon ürünü olduğuna işaret ediyor. The Verge ve TechCrunch'ın haberlerine göre çip, yalnızca laboratuvarda kıyaslama testlerine tabi tutulmak için değil, açıkça OpenAI'nin çıkarım altyapısında konuşlandırılmak üzere tasarlandı.
Jalapeño adı, veri merkezi silikonunun kuru alfasayısal isimlendirmesinden bir kopuşu temsil ediyor; bu ya bir marka sinyali ya da öylece yerleşip kalan dahili bir kod adı — OpenAI konuyu netleştirmedi.
OpenAI, Nvidia GPU'larına milyarlarca dolar harcadı ve şirketin en büyük müşterileri arasında yer almaya devam ediyor. Jalapeño bunu bir gecede değiştirmiyor. Sınır modellerin eğitimi hâlâ Nvidia'nın en yeni donanımını gerektiriyor; OpenAI, Microsoft Azure ve diğerlerinin edinmek için yarıştığı H100 ve B200 kümelerini. Jalapeño'nun yapabileceği şey, her yeni kullanıcıyla birlikte ölçeklenen çıkarım yükünü karşılamak için OpenAI'nin ihtiyaç duyduğu Nvidia çip sayısını azaltmaktır.
Ars Technica'nın haberlerine göre çip, API kullanıcıları için yoğun dönemlerde belirgin hız sınırlamalarına ve yavaşlamalara yol açan hızla artan taleple başa çıkmaya yönelik OpenAI'nin daha geniş stratejisinin bir parçası olarak konumlandırılıyor. GPU kümeleriyle paralel çalışan özel bir çıkarım ASIC'i, standart bir oyun planıdır: Google, çıkarım maliyetleri somut biçimde düşmeden önce bu geçişi birkaç TPU nesli boyunca uyguladı.
Bugün hiçbir şey değişmiyor. Jalapeño duyuruldu, henüz ölçekli biçimde konuşlandırılmadı. Ancak OpenAI'nin API'si üzerine görüntü üretim süreçleri, istem iş akışları veya karakter araçları inşa eden herkes için bu yörünge önem taşıyor. OpenAI kendi silikonunda çıkarımı daha ucuza sunabilirse, GPT-4o ve gelecekteki modeller için maliyet eğrisi aşağı doğru kıvrılır; bu da OpenAI'nin uç noktalarını çağıran ekosistemindeki her araç için girdi maliyeti anlamına gelir.
Bir iş akışına bağlanmadan önce sağlayıcılar arasında model maliyetlerini karşılaştıran içerik üreticileri, önümüzdeki iki ila üç çeyrekte OpenAI'nin API fiyatlandırmasının değişip değişmediğini takip etmelidir. Yeni duyurulan bir ASIC'in anlamlı bir konuşlandırma ölçeğine ulaşması için gerçekçi zaman penceresi budur. Bu süreçte duyuru, OpenAI'nin GPT-4o'nun ardından gelen her ne olursa olsun, çıkarım kapasitesini — yalnızca model yeteneğini değil — temel bir rekabet değişkeni olarak ele aldığını doğruluyor.
