Quantization-Aware Healing сжимает модель 120B до 60B-MXFP4 — и превосходит оригинал на бенчмарках

Multiverse Computing опубликовала технику под названием Quantization-Aware Healing (QAH), которая сжимает модель со 120 миллиардами параметров до чекпоинта 60B MXFP4 — и эта сжатая модель показывает более высокие результаты на стандартных бенчмарках, чем исходная полноточная версия 120B, из которой она была получена.

Ключевые выводы

• QAH — это метод дистилляции после сжатия: после структурного прунинга и квантизации модели QAH выполняет дистилляцию из исходной модели до сжатия, используя её как замороженного учителя, чтобы восстановить утраченные возможности — без повторного прохождения оригинального обучения.
• Полученный чекпоинт 60B MXFP4 превосходит своего родителя 120B bfloat16 на бенчмарках, опубликованных Multiverse Computing — результат, который, если подтвердится в независимом тестировании, ставит под сомнение предположение о том, что сжатие всегда снижает качество.
• QAH достигает пикового качества примерно за 1 200 шагов обучения и остаётся стабильным; сопоставимый базовый метод Quantization-Aware Training (QAT) требует значительно больше времени для достижения аналогичного пика, а затем деградирует.
• Техника ориентирована на MXFP4 — 4-битный формат с микромасштабированием, что делает полученные модели хорошо подходящими для оборудования с поддержкой низкобитного инференса, включая потребительские GPU и Apple Silicon.
• Независимые бенчмарки пока не опубликованы; все показатели производительности взяты из собственных отчётов Multiverse Computing в блоге Hugging Face.

Почему сжатая модель может превзойти своего родителя

Контринтуитивный результат — меньшая квантизованная модель обходит большую полноточную — объясняется тем, как QAH выстраивает фазу восстановления. Стандартное обучение с учётом квантизации начинается со сжатого чекпоинта и дообучает его, однако сжатая модель уже потеряла структурную информацию, которую сложно восстановить. QAH вместо этого сохраняет исходную модель до сжатия замороженной в роли учителя и дистиллирует знания обратно в сжатого ученика. Поскольку учитель никогда не изменяется, сигнал, на котором обучается ученик, остаётся чистым.

Практическое следствие: если ваш рабочий процесс предполагает локальный запуск крупных открытых моделей — для пайплайнов генерации изображений, проверки согласованности персонажей или уточнения промптов — чекпоинты, обработанные QAH, могут позволить вам запускать модель, которая ведёт себя как значительно более крупная, при доле затрат памяти. Модель 60B MXFP4 помещается на оборудовании, которое испытывало бы трудности с моделью 120B bfloat16, а формат MXFP4 всё активнее поддерживается нативно на новых чипах.

Цифры бенчмарков и то, что пока не подтверждено

Согласно публикации в блоге Hugging Face от Multiverse Computing, чекпоинт 60B MXFP4 с применённым QAH показывает результаты выше, чем промежуточная модель 60B bfloat16 и учитель 120B MXFP4, на всех представленных бенчмарках. В публикации также показано, что при применении к меньшей модели GPT-OSS 9B, квантизованной до MXFP4, QAH достигает пика рано и остаётся стабильным на протяжении 1 200 шагов — тогда как базовый метод QAT требует значительно больше времени и затем деградирует.

Что пока не подтверждено: независимая репликация на сторонних бенчмарках, производительность на задачах за пределами представленного набора и поведение на специализированных рабочих нагрузках — например, тех, что используются в подписях для генерации изображений или мультимодальных пайплайнах. Multiverse Computing не раскрыла полный набор бенчмарков и конкретные использованные задачи.

Стратегия сжатия меняется для тех, кто запускает модели локально

Для авторов, которые скачивают открытые модели для локального запуска — будь то генерация изображений или создание пользовательских пайплайнов для персонажей — уровень сжатия, в котором поставляется модель, всегда предполагал компромисс с качеством. QAH, если результаты окажутся обобщаемыми, переосмысляет этот компромисс: агрессивная квантизация до MXFP4 перестаёт быть крайней мерой для оборудования с ограниченной памятью и начинает выглядеть как жизнеспособный основной формат.

Техника также применяется быстрее, чем полноценный QAT. Это важно для мейнтейнеров моделей, которые хотят оперативно выпускать квантизованные варианты после релиза базовой модели, что обеспечило бы экосистеме открытого исходного кода больше высококачественных 4-битных чекпоинтов для работы на таких платформах, как каталог моделей Charmloop.

Multiverse Computing опубликовала методологию и детали чекпоинта на Hugging Face. Выдержат ли полученные на бенчмарках преимущества независимую проверку — следующий вопрос, за которым стоит следить, прежде чем переводить рабочий процесс на MXFP4 как формат по умолчанию.