Quantization-Aware Healing, 120B Modeli 60B-MXFP4'e Sıkıştırıyor — ve Kendi Orijinalini Kıyaslamalarda Geçiyor

Multiverse Computing, Quantization-Aware Healing (QAH) adlı bir teknik yayımladı. Bu teknik, 120 milyar parametreli bir modeli 60B MXFP4 kontrol noktasına sıkıştırıyor — ve sıkıştırılmış model, türetildiği tam hassasiyetli 120B orijinalinden standart kıyaslamalarda daha yüksek puan alıyor.

Öne çıkan noktalar

• QAH, sıkıştırma sonrası bir damıtma yöntemidir: Bir model yapısal olarak budanıp nicemlendirildikten sonra QAH, orijinal eğitim sürecini yeniden izlemeden kaybedilen kapasiteyi geri kazanmak için sıkıştırma öncesi orijinal modeli dondurulmuş bir öğretmen olarak kullanarak damıtma yapar.
• Elde edilen 60B MXFP4 kontrol noktası, 120B bfloat16 ebeveynini Multiverse Computing'in raporladığı kıyaslamalarda geride bırakıyor — bağımsız testlerde de doğrulanırsa bu sonuç, sıkıştırmanın her zaman kalite kaybına yol açtığı varsayımını sorgulatıyor.
• QAH, yaklaşık 1.200 eğitim adımında zirve performansına ulaşıyor ve kararlı kalıyor; karşılaştırılabilir bir Quantization-Aware Training (QAT) temeli benzer bir zirveye çok daha uzun sürede ulaşıyor ve ardından bozuluyor.
• Teknik, MXFP4'ü hedefliyor: Bu mikro ölçekli 4-bit format, elde edilen modelleri düşük-bit çıkarımını destekleyen donanımlar — tüketici GPU'ları ve Apple Silicon dahil — için son derece uygun kılıyor.
• Bağımsız kıyaslamalar henüz yayımlanmadı; tüm performans rakamları Multiverse Computing'in Hugging Face blogundaki kendi raporlamasından geliyor.

Sıkıştırılmış bir model neden ebeveynini geçebilir?

Sezgiye aykırı bu sonuç — daha küçük, nicemlendirилmiş bir modelin daha büyük, tam hassasiyetli olanı geçmesi — QAH'ın kurtarma aşamasını nasıl yapılandırdığından kaynaklanıyor. Standart nicemlendirme farkındalıklı eğitim, sıkıştırılmış bir kontrol noktasından başlayıp ince ayar yapar; ancak sıkıştırılmış model, geri kazanılması güç yapısal bilgileri zaten yitirmiştir. QAH ise orijinal, sıkıştırma öncesi modeli dondurulmuş bir öğretmen olarak tutar ve bilgiyi sıkıştırılmış öğrenciye geri damıtır. Öğretmen hiçbir zaman değiştirilmediğinden, öğrencinin öğrendiği sinyal temiz kalır.

Pratik çıkarım: iş akışınız büyük açık ağırlıklı modelleri yerel olarak çalıştırmayı kapsıyorsa — görüntü üretim ardışık düzenleri, karakter tutarlılığı kontrolleri veya istem iyileştirme için — QAH ile işlenmiş kontrol noktaları, bellek maliyetinin çok daha küçük bir bölümüyle çok daha büyük bir model gibi performans gösteren bir modeli çalıştırmanıza olanak tanıyabilir. 60B MXFP4 model, 120B bfloat16 modelle zorlanacak donanımlara sığar; MXFP4 formatı ise yeni nesil silikon üzerinde giderek artan biçimde yerel olarak destekleniyor.

Kıyaslama rakamları ve henüz doğrulanmayanlar

Multiverse Computing'in Hugging Face blog gönderisine göre, QAH uygulanmış 60B MXFP4 kontrol noktası, raporlanan kıyaslamalarda hem 60B bfloat16 ara modeli hem de 120B MXFP4 öğretmeni geride bırakıyor. Gönderi ayrıca MXFP4'e nicemlendirilen daha küçük bir GPT-OSS 9B modeline uygulandığında QAH'ın erken zirveye ulaştığını ve 1.200 adım boyunca kararlı kaldığını gösteriyor — oysa QAT temeli çok daha uzun süre alıyor ve ardından çöküyor.

Henüz doğrulanmayanlar: üçüncü taraf kıyaslamalarda bağımsız tekrarlama, raporlanan suite dışındaki görevlerdeki performans ve görüntü üretimi altyazılama ya da çok modlu ardışık düzenler gibi alana özgü iş yüklerindeki davranış. Multiverse Computing, tam kıyaslama paketini veya kullanılan kesin görevleri açıklamadı.

Yerel model çalıştıranlar için sıkıştırma stratejisi değişiyor

Açık ağırlıklı modelleri yerel olarak çalıştırmak için indiren yaratıcılar için — ister görüntü üretimi ister özel karakter ardışık düzenleri oluşturmak için olsun — bir modelin hangi sıkıştırma katmanında sunulduğu her zaman bir kalite ödünleşimi içermiştir. QAH, sonuçlar genelleşirse bu ödünleşimi yeniden çerçeveliyor: MXFP4'e agresif nicemlendirme, bellek kısıtlı donanımlar için son çare olmaktan çıkıp birincil format olarak değerlendirilebilir bir seçenek haline geliyor.

Teknik aynı zamanda tam QAT'tan daha hızlı uygulanıyor. Bu, temel model yayımlandıktan kısa süre sonra nicemlendirилmiş varyantları sunmak isteyen model bakımcıları için önemli; bu durum açık kaynak ekosistemine Charmloop model kataloğu gibi platformlarda çalışmak için daha fazla yüksek kaliteli 4-bit kontrol noktası kazandıracaktır.

Multiverse Computing, metodoloji ve kontrol noktası ayrıntılarını Hugging Face'te yayımladı. Kıyaslama kazanımlarının bağımsız incelemeden sağlam çıkıp çıkmayacağı ise bir sonraki soru — ve MXFP4'ü varsayılan format olarak benimsemeden önce takip etmeye değer bir gelişme.