La Quantization-Aware Healing réduit un modèle 120B à 60B-MXFP4 — et surpasse l'original sur les benchmarks

Multiverse Computing a publié une technique appelée Quantization-Aware Healing (QAH) qui compresse un modèle de 120 milliards de paramètres en un checkpoint 60B MXFP4 — et ce modèle compressé obtient des scores plus élevés sur les benchmarks standard que l'original 120B en pleine précision dont il est issu.

Points clés

• QAH est une méthode de distillation post-compression : après qu'un modèle a été élagué structurellement et quantifié, QAH distille à partir du modèle original pré-compression utilisé comme enseignant figé pour récupérer les capacités perdues — sans retracer l'entraînement original.
• Le checkpoint 60B MXFP4 résultant surpasse son parent 120B bfloat16 sur les benchmarks rapportés par Multiverse Computing — un résultat qui, s'il se confirme lors de tests indépendants, remet en question l'hypothèse selon laquelle la compression entraîne toujours une perte de qualité.
• QAH atteint ses performances maximales en environ 1 200 étapes d'entraînement et reste stable ; une baseline comparable de Quantization-Aware Training (QAT) met beaucoup plus de temps à atteindre un pic similaire, puis se dégrade.
• La technique cible le format MXFP4, un format 4 bits à micro-échelle, rendant les modèles résultants particulièrement adaptés au matériel prenant en charge l'inférence à faible précision — y compris les GPU grand public et Apple Silicon.
• Des benchmarks indépendants n'ont pas encore été publiés ; toutes les performances proviennent des propres rapports de Multiverse Computing sur le blog Hugging Face.

Pourquoi un modèle compressé peut surpasser son modèle parent

Ce résultat contre-intuitif — un modèle plus petit et quantifié surpassant un modèle plus grand en pleine précision — découle de la façon dont QAH structure la phase de récupération. L'entraînement standard avec prise en compte de la quantification part d'un checkpoint compressé et l'affine, mais le modèle compressé a déjà perdu des informations structurelles difficiles à récupérer. QAH maintient plutôt le modèle original pré-compression figé en tant qu'enseignant et distille la connaissance dans l'étudiant compressé. Comme l'enseignant n'est jamais modifié, le signal dont l'étudiant apprend est pur.

L'implication pratique : si votre flux de travail implique d'exécuter de grands modèles open-weight en local — pour des pipelines de génération d'images, des vérifications de cohérence de personnages ou l'affinement de prompts — les checkpoints traités par QAH pourraient vous permettre d'exécuter un modèle qui performe comme un modèle bien plus grand, pour une fraction du coût en mémoire. Un modèle 60B MXFP4 s'adapte à du matériel qui peinerait avec un modèle 120B bfloat16, et le format MXFP4 est de plus en plus pris en charge nativement sur les nouvelles puces.

Chiffres des benchmarks et ce qui reste à confirmer

Selon le billet de blog Hugging Face de Multiverse Computing, le checkpoint 60B MXFP4 avec QAH appliqué obtient des scores supérieurs à la fois au modèle intermédiaire 60B bfloat16 et à l'enseignant 120B MXFP4 sur les benchmarks rapportés. Le billet montre également que lorsqu'il est appliqué à un modèle GPT-OSS 9B plus petit quantifié en MXFP4, QAH atteint son pic rapidement et reste stable jusqu'à 1 200 étapes — tandis qu'une baseline QAT met nettement plus de temps et s'effondre ensuite.

Ce qui n'a pas encore été confirmé : la réplication indépendante sur des benchmarks tiers, les performances sur des tâches en dehors de la suite rapportée, et le comportement sur des charges de travail spécifiques à un domaine comme celles utilisées dans le sous-titrage de génération d'images ou les pipelines multimodaux. Multiverse Computing n'a pas divulgué la suite complète de benchmarks ni les tâches exactes utilisées.

La stratégie de compression évolue pour les utilisateurs de modèles en local

Pour les créateurs qui téléchargent des modèles open-weight pour les exécuter en local — que ce soit pour la génération d'images ou la construction de pipelines de personnages personnalisés — le niveau de compression dans lequel un modèle est livré a toujours impliqué un compromis sur la qualité. QAH, si les résultats se généralisent, recadre ce compromis : une quantification agressive en MXFP4 cesse d'être un dernier recours pour le matériel limité en mémoire et commence à ressembler à un format principal viable.

La technique est également plus rapide à appliquer que le QAT complet. Cela compte pour les mainteneurs de modèles qui souhaitent publier rapidement des variantes quantifiées après la sortie d'un modèle de base, ce qui donnerait à l'écosystème open source davantage de checkpoints 4 bits de haute qualité avec lesquels travailler sur des plateformes comme le catalogue de modèles Charmloop.

Multiverse Computing a publié la méthodologie et les détails des checkpoints sur Hugging Face. La question de savoir si les gains sur les benchmarks résistent à un examen indépendant est la prochaine étape — et une question qui mérite d'être suivie avant de s'engager à utiliser MXFP4 comme format par défaut dans un flux de travail.