Bu hikâye ilham mı verdi? Fikrini saniyeler içinde kendi yapay zekâ sanatına dönüştür — ücretsiz başla, kart gerekmez.
Fransız yapay zeka girişimi ZML, birden fazla donanım üreticisinin çiplerinde çalışmak üzere tasarlanmış ücretsiz bir çıkarım hızlandırma aracı olan LLMD'yi yayımladı; bu gelişmenin yapay zeka görüntü üretiminin maliyeti ve hızı üzerinde doğrudan etkileri bulunuyor.
Çıkarım, çoğu içerik üreticisinin her gün etkileşime girdiği yapay zeka bileşenidir: "oluştur" düğmesine bastığınızda modelin bir istemi görüntüye dönüştürdüğü süreç tam da budur. Aynı zamanda bu istekleri ölçekli biçimde karşılayan platformlar için en yüksek yinelenen maliyettir. Daha hızlı çıkarım, her bir hesaplama doları başına saniyede daha fazla görüntü anlamına gelir; bu matematiksel ilişki fiyatlandırmaya, kuyruk sürelerine ve çıktı kalitesi tavanlarına doğrudan yansır.
Bugüne kadarki çıkarım optimizasyon araçlarının büyük çoğunluğu tek bir çip mimarisine sıkı sıkıya bağlıydı; bunun en baskın örneği NVIDIA'nın CUDA ekosistemidir. ZML'nin LLMD ile sunduğu yaklaşım ise donanımdan bağımsız hızlandırmadır: Yazılım, farklı üreticilerin çiplerinde çalışacak şekilde tasarlanmıştır. Süregelen GPU arz kısıtları ortamında sektörün AMD, Intel ve özel silikon alternatiflerine yönelme çabası göz önüne alındığında bu özellik büyük önem taşımaktadır.
ZML, kısmen Yann LeCun'un kamuoyu önündeki desteği sayesinde dikkat çeken Paris merkezli bir girişimdir. Meta'nın baş yapay zeka bilim insanı ve Turing Ödülü sahibi olan LeCun, araştırma camiasında büyük bir ağırlığa sahiptir; onun şirketle ilişkilendirilmesi, ZML'nin profilini tipik bir altyapı girişiminin çok üzerine taşımıştır. Şirketin odak noktası, operatörleri tek bir donanım yığınına kilitlemeden yapay zeka çıkarımını daha hızlı ve ucuz hale getirmektir.
LLMD, şirketin ilk büyük kamuya açık ürün sürümüdür. Yazılımı ücretsiz yapma kararı açık bir pazar ele geçirme stratejisidir: benimsemeyi geniş çapta tohumlamak, LLMD'yi yapay zeka dağıtım hatlarında standart bir katman olarak yerleştirmek ve buradan ilerlemek. Bu tanıdık bir strateji kitabıdır; PyTorch ve Hugging Face'in Transformers kütüphanesinin yapay zeka yığınının kendi katmanlarında nasıl baskın hale geldiğini yansıtmaktadır.
Yapay zeka sanat platformları için çıkarımı NVIDIA dışı donanımda verimli biçimde çalıştırabilme yeteneği, artık teorik değil giderek daha pratik bir mesele haline gelmektedir. Bulut sağlayıcıları AMD Instinct ve özel hızlandırıcı filolarını genişletiyor; bazı görüntü üretim iş yükleri bu alternatif çiplerde zaten çalışıyor. Donanım farklılıklarını soyutlayan ve yine de rekabetçi bir iş hacmi sunan bir yazılım katmanı, platformların şu anda yapamadıkları şekilde hesaplama maliyetlerini arbitraj etmelerine olanak tanıyacaktır.
Kendi barındırdıkları veya yerel olarak çalıştırdıkları modeller kullanan içerik üreticileri için —özellikle Stable Diffusion türevleri veya diğer açık ağırlıklı görüntü modellerini çalıştıranlar arasında giderek büyüyen bir kesim— LLMD, büyük çerçevelerden çipe özgü optimizasyonların yavaş yavaş süzülmesini beklemeden, halihazırda sahip oldukları donanımda anlamlı ölçüde daha hızlı üretim anlamına gelebilir.
Pratik performans rakamları hâlâ yetersizdir. TechCrunch sürümü haberleştirdi; ancak LLMD'nin iş hacmini eşdeğer donanımda vLLM, TensorRT-LLM veya llama.cpp gibi mevcut çıkarım çalışma zamanlarıyla karşılaştıran bağımsız kıyaslamalar henüz kamuoyuyla paylaşılmadı. Çip üreticisi kapsamı —tam olarak hangi mimarilerin desteklendiği ve ne ölçüde— de herhangi birinin bir üretim hattını bu yazılım etrafında yeniden yapılandırması için daha fazla ayrıntı gerektirmektedir.
Açık olan şey şudur: çıkarım optimizasyon katmanındaki artan rekabet, yapay zeka hesaplaması için ödeme yapan veya buna bağımlı olan herkes için iyidir. LLMD çapraz çip vaadini yerine getirirse, hem donanım üreticilerine hem de mevcut çıkarım yazılımı sağlayıcılarına kendi performans ve fiyatlandırmalarını keskinleştirmeleri için anlamlı bir baskı uygular. Görüntü üretimi içerik üreticileri için bu rekabet, model boyutları büyüdükçe üretim maliyetlerinin denetimsiz biçimde tırmanmasını önleyen şeydir.
