Quantization-Aware Healing zmniejsza model 120B do 60B-MXFP4 — i przewyższa oryginał w benchmarkach

Multiverse Computing opublikowało technikę zwaną Quantization-Aware Healing (QAH), która kompresuje model o 120 miliardach parametrów do checkpointu 60B MXFP4 — a ten skompresowany model osiąga wyższe wyniki w standardowych benchmarkach niż oryginał o pełnej precyzji 120B, z którego został wyprowadzony.

Kluczowe wnioski

• QAH to metoda destylacji po kompresji: po strukturalnym przycięciu i kwantyzacji modelu, QAH destyluje z oryginalnego modelu przed kompresją jako zamrożonego nauczyciela, aby odzyskać utracone możliwości — bez powtarzania oryginalnego procesu treningu.
• Wynikowy checkpoint 60B MXFP4 przewyższa swojego rodzica 120B bfloat16 w benchmarkach raportowanych przez Multiverse Computing — wynik, który, jeśli potwierdzi się w niezależnych testach, kwestionuje założenie, że kompresja zawsze kosztuje jakość.
• QAH osiąga szczytową wydajność w około 1200 krokach treningowych i pozostaje stabilny; porównywalny baseline Quantization-Aware Training (QAT) potrzebuje znacznie więcej czasu, aby osiągnąć podobny szczyt, a następnie się degraduje.
• Technika celuje w MXFP4, format mikroskalowania 4-bitowy, czyniąc wynikowe modele dobrze dostosowanymi do sprzętu obsługującego wnioskowanie o niskiej liczbie bitów — w tym konsumenckie GPU i Apple Silicon.
• Niezależne benchmarki nie zostały jeszcze opublikowane; wszystkie dane o wydajności pochodzą z własnych raportów Multiverse Computing na blogu Hugging Face.

Dlaczego skompresowany model może przewyższyć swojego rodzica

Kontraintuicyjny wynik — mniejszy, skwantyzowany model pokonujący większy o pełnej precyzji — wynika z tego, jak QAH strukturyzuje fazę odzyskiwania. Standardowy trening świadomy kwantyzacji zaczyna od skompresowanego checkpointu i go dostrajuje, ale skompresowany model już utracił informacje strukturalne, które są trudne do odzyskania. QAH zamiast tego utrzymuje oryginalny model przed kompresją zamrożony jako nauczyciela i destyluje wiedzę z powrotem do skompresowanego ucznia. Ponieważ nauczyciel nigdy nie jest modyfikowany, sygnał, z którego uczy się uczeń, jest czysty.

Praktyczna implikacja: jeśli twój przepływ pracy obejmuje lokalne uruchamianie dużych modeli o otwartych wagach — do pipelinów generowania obrazów, sprawdzania spójności postaci lub udoskonalania promptów — checkpointy przetworzone QAH mogłyby pozwolić ci uruchomić model, który działa jak znacznie większy, przy ułamku kosztów pamięci. Model 60B MXFP4 mieści się na sprzęcie, który miałby problemy z modelem 120B bfloat16, a format MXFP4 jest coraz częściej natywnie obsługiwany na nowszym krzemie.

Wyniki benchmarków i to, co pozostaje niepotwierdzone

Zgodnie z postem na blogu Hugging Face od Multiverse Computing, checkpoint 60B MXFP4 z zastosowanym QAH osiąga wyniki powyżej zarówno pośredniego 60B bfloat16, jak i nauczyciela 120B MXFP4 we wszystkich raportowanych benchmarkach. Post pokazuje również, że gdy zastosowano do mniejszego modelu GPT-OSS 9B skwantyzowanego do MXFP4, QAH osiąga szczyt wcześnie i utrzymuje się stabilnie przez 1200 kroków — podczas gdy baseline QAT potrzebuje znacznie więcej czasu, a następnie się załamuje.

Co nie zostało potwierdzone: niezależna replikacja na benchmarkach stron trzecich, wydajność w zadaniach poza raportowanym zestawem oraz zachowanie w obciążeniach specyficznych dla domeny, takich jak te używane w opisywaniu generowania obrazów lub pipelinach multimodalnych. Multiverse Computing nie ujawniło pełnego zestawu benchmarków ani dokładnych zadań użytych.

Strategia kompresji zmienia się dla użytkowników lokalnych modeli

Dla twórców, którzy pobierają modele o otwartych wagach do lokalnego uruchamiania — czy to do generowania obrazów, czy budowania niestandardowych pipelinów postaci — warstwa kompresji, w której model jest dostarczany, zawsze wiązała się z kompromisem jakości. QAH, jeśli wyniki się uogólnią, redefiniuje ten kompromis: agresywna kwantyzacja do MXFP4 przestaje być ostatecznością dla sprzętu ograniczonego pamięcią i zaczyna wyglądać jak realny format podstawowy.

Technika jest również szybsza w zastosowaniu niż pełny QAT. To ma znaczenie dla opiekunów modeli, którzy chcą szybko dostarczyć skwantyzowane warianty po wydaniu modelu bazowego, co dałoby ekosystemowi open-source więcej wysokiej jakości checkpointów 4-bitowych do pracy na platformach takich jak katalog modeli Charmloop.

Multiverse Computing opublikowało metodologię i szczegóły checkpointów na Hugging Face. Czy zyski benchmarkowe przetrwają niezależną kontrolę to następne pytanie — i warte obserwowania przed zaangażowaniem przepływu pracy w MXFP4 jako domyślny.