Maya her yeni modeli benchmark'tan geçirir — önce rakamlar, asla abartı.
Böyle hikâyelerin ardındaki modelleri ve stilleri keşfet — ücretsiz hesap, anında galeri.
Kataloğu keşfetBir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Hugging Face, herkesin kullanım kısıtlaması olmaksızın ince ayar yapabileceği, kendi sunucusunda barındırabileceği ve değiştirebileceği 501 milyar parametreli açık ağırlıklı bir karışık uzmanlar modeli olan Beam'i yayımladı — bugün mevcut olan türünün en büyük açık lisanslı modeli.
Beam'in MoE tasarımı, manşetteki parametre sayısına karşın hesaplamayı yönetilebilir kılmaktadır. Her MoE katmanında token başına yalnızca 256 uzman arasından 8'i etkinleştirildiğinden, ileri geçiş başına etkin hesaplama 501B'nin çok küçük bir bölümüdür. Yönlendirici tüm 256 uzmanı puanlar, grupları seçer ve ardından her tokeni gönderir — Hugging Face'in tek geçişli yönlendirmeye kıyasla uzman kullanımını iyileştirdiğini belirttiği iki aşamalı bir süreç.
Ağın ön kısmındaki üç yoğun katman, MoE yığını devreye girmeden önce erken temsili işler. Dikkat blokları, RoPE konumsal kodlama ve öğrenilmiş sigmoid kapısıyla gruplandırılmış sorgu dikkatini kullanmaktadır — son Llama veya Mistral türevleriyle çalışmış olan herkesin tanıdık bulacağı bir kurulum.
Beam'deki en teknik açıdan özgün tercih, artık bağlantıları ele alış biçimidir. Standart transformer'lar her alt katmanın çıktısını sabit bir ağırlık olan bir ile ekler; bu durum gizli durum normunun derinlikle birlikte yukarı kaymasına yol açar. Beam, derinleştikçe ölçeği azaltan derinliğe bağlı artık ağırlıklar kullanarak birikmiş gizli durumu 52 katmanın tamamında sabit bir ölçekte tutar.
İnce ayar yapanlar için bu durum pratik bir öneme sahiptir: kararlı gizli durum normları, katmanların bir alt kümesi üzerinde eğitilen LoRA adaptörlerinin gradyanları patlatma veya agresif öğrenme hızı ayarı gerektirme olasılığını azaltır. Hugging Face'in kendi ince ayar günlüğü — tek bir 8 GPU'lu B300 düğümünde gerçekleştirilen 500 adımlık bir LoRA çalışması — temiz kayıp yakınsaması göstermektedir; ancak bu, satıcı donanımında gerçekleştirilen satıcı kaynaklı bir kıyaslamadır ve henüz büyük ölçekte bağımsız olarak doğrulanmamıştır.
«Açık ağırlıklar, kısıtlama yok» çerçevesi, günlük iş akışlarını en somut biçimde değiştiren kısımdır. Tescilli sınır modelleri token başına ücret alır, çıkarımı hız sınırına tabi tutar ve çıktılar üzerinde ince ayar yapılmasını yasaklar. Beam bu üç kısıtlamayı aynı anda ve daha önce açık bir eşdeğeri bulunmayan bir ölçekte — 501B parametre — ortadan kaldırmaktadır.
Özellikle yapay zeka sanatı içerik üreticileri için anlık kullanım senaryosu, API maliyetlerinin hacimle birlikte artması konusunda endişelenmeksizin özel altyazı oluşturma, istem yeniden yazma veya görüntü açıklama ardışık düzenleri oluşturmaktır. Charmloop'un üreticisi aracılığıyla günde binlerce görüntü oluşturan bir stüdyo, çağrı başına sıfır marjinal maliyetle yerel olarak barındırılan bir Beam ince ayarını istem optimize edici veya meta veri etiketleyici olarak ekleyebilir.
Ancak donanım gereksinimi gerçektir. 501B parametreyi çalıştırmak — MoE seyrekliğiyle bile — çok GPU'lu altyapı gerektirmektedir. Hugging Face, tek bir 8 GPU'lu B300 düğümünde ince ayar yapıldığını gösterdi; ancak üretim düzeyinde çıkarım benzer veya daha fazla kaynak gerektirecektir. Bu model, tek bir tüketici GPU'su için değildir; tüketici sınıfı yerel çıkarımın pratik tavanını belgeleyen Mac Studio donanımında yerel yapay zeka testi kapsamında ele alınan altyapı katmanına daha yakın konumdadır.
Önce daha küçük açık modellerle denemek isteyen içerik üreticileri, daha mütevazı donanımda çalışan seçenekler için Charmloop model kataloğuna göz atabilir, ardından hesaplama kapasitesi arttıkça Beam'i hedef mimari olarak değerlendirebilir.
Hugging Face duyurusuna göre, Beam tam ağırlıklar, eğitim kodu ve ince ayar belgeleriyle şu anda kullanıma sunulmuştur. Açık sınır, 501B parametreli bir girişe kavuştu — topluluğun bunun üzerine neler inşa edeceği ise izlemeye değer kısım.
