Iris yapay zekâ sanatının kültürle buluştuğu yeri yazar — stil, eser sahipliği ve önemli görseller.
Böyle hikâyelerin ardındaki modelleri ve stilleri keşfet — ücretsiz hesap, anında galeri.
Kataloğu keşfetBir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Liquid AI'ın LFM2.5-DSpark'ı, Hugging Face bloguna göre Apple Silicon donanımında temel LFM2.5 modeline kıyasla 3,2 kata kadar daha hızlı çıkarım gerçekleştiriyor — çıktı kalitesinde herhangi bir düşüş bildirilmedi.
Liquid AI'ın LFM2.5-DSpark'ı, LFM2.5'in spekülatif kod çözme varyantı olarak Hugging Face'te yayımlandı.
Görsel: Hugging Face Blog
Hız kazanımı bir sıkıştırma hilesi değildir. DSpark, spekülatif kod çözme yöntemini kullanır: kompakt bir taslak model bir token dizisi önerir, tam LFM2.5 modeli ise bunları tek bir ileri geçişte doğrular. Taslak doğru olduğunda — ki çoğu zaman öyledir — sistem yavaş token-token üretim döngüsünü atlar. Sonuç, aynı çıktıyı üretmek için daha az ardışık adımdır; bu nedenle duvar saati süresi çökerken kalite bozulmadan korunur.
M serisi Mac üzerinde yerel olarak görüntü altyazılama ardışık düzenleri, istem genişletme iş akışları veya karakter diyaloğu üretimi çalıştıran herkes için bu fark teorik değildir. Daha önce sekiz saniye süren bir görevde 3,2x hızlanma, süreyi üç saniyenin altına indirir. Hantal hissettiren yineleme döngüleri, yaratıcı akışı sürdürecek kadar duyarlı hale gelir.
BFCL gecikme kıyaslamaları, LFM2.5-DSpark'ın Apple Silicon donanımında temel modele kıyasla önemli ölçüde daha düşük yanıt süreleri kaydettiğini gösteriyor.
Görsel: Hugging Face Blog
Kıyaslama rakamları Apple Silicon'a bağlıdır. M serisi çipler, spekülatif kod çözmenin bellek bant genişliği taleplerini özellikle iyi karşılar — birleşik bellek mimarisi, taslak ve doğrulayıcı modellerin ayrık GPU kurulumlarında kazanımları körelten PCIe darboğazı olmaksızın aynı havuzu paylaşmasını sağlar. CUDA tabanlı sistemler kullanan yaratıcılar, 3,2x rakamını bir garanti olarak değil üst sınır olarak değerlendirmelidir; Liquid AI'ın yayımladığı veriler NVIDIA donanımında eşdeğer kazanımlar iddiasında bulunmamaktadır.
Bu Apple öncelikli çerçeveleme başlı başına bir sinyaldir. Yerel çıkarım topluluğunun giderek büyüyen bir dilimi, tarihsel olarak ham verimde NVIDIA'nın gerisinde kalan ancak artık ciddi bir nicelleştirilmiş ve optimize edilmiş model ekosistemine ev sahipliği yapan MacBook Pro ve Mac Studio'larda çalışmaktadır. DSpark, bu kitleye yönelik doğrudan bir hamledir.
Pratik avantaj, ham hızın ötesine geçer. Daha hızlı token üretimi, bir karakter tanımını veya sahne özetini bir görüntü oluşturucuya göndermeden önce ayarlamanın ileri-geri sürecini oluşturan istem iyileştirme döngülerini dakikalardan saniyelere sıkıştırır. Yapay zeka görüntü oluşturma iş akışında bir görüntü modeline geçmeden önce LLM'leri ilk katman olarak kullanan yaratıcılar farkı anında hissedecektir.
Spekülatif kod çözme aynı zamanda modelin üslup kaydını koruma eğilimindedir; çünkü her token üzerinde son söz taslağa değil, doğrulayıcıya aittir. Taslak model yanılabilir; büyük model onu düzeltir. Bu asimetri, Liquid AI'ın kalite kaybı olmadığını güvenilir biçimde iddia edebilmesinin nedenidir — mimari bunu sonradan yapılan ayarlamalar yoluyla değil, yapısal olarak zorunlu kılar.
Açık ağırlıklı çıkarım optimizasyonu bu yıl hızla ivme kazanmaktadır; küçük laboratuvarlar, kapalı API sağlayıcılarının nadiren yayımladığı boşluklar bulmaktadır. Bulut faturası olmadan hız isteyen yaratıcılar için yerel olarak çalıştırılabilir seçenekler açısından model kataloğunu keşfetmek giderek daha uygulanabilir hale gelmektedir. DSpark, bu trendin en temiz örneklerinden biridir: kıyaslamalarıyla birlikte şu anda mevcut olan gerçek bir mühendislik iyileştirmesi.
