Quantization-Aware Healing стискає модель 120B до 60B-MXFP4 — і перевершує оригінал на бенчмарках

Multiverse Computing опублікувала техніку під назвою Quantization-Aware Healing (QAH), яка стискає модель із 120 мільярдами параметрів до чекпоінту 60B MXFP4 — і ця стиснена модель набирає вищі бали на стандартних бенчмарках, ніж повноточний оригінал 120B, з якого вона була отримана.

Ключові висновки

• QAH — це метод дистиляції після стиснення: після структурного прунінгу та квантизації моделі QAH дистилює знання з оригінальної моделі до стиснення як замороженого вчителя, щоб відновити втрачені можливості — без повторного проходження оригінального тренувального запуску.
• Отриманий чекпоінт 60B MXFP4 перевершує свого батька 120B bfloat16 на бенчмарках, про які повідомляє Multiverse Computing — результат, який, якщо він витримає незалежне тестування, ставить під сумнів припущення, що стиснення завжди коштує якості.
• QAH досягає пікової продуктивності приблизно за 1 200 кроків навчання і залишається стабільним; порівнянний базовий рівень Quantization-Aware Training (QAT) потребує значно більше часу для досягнення аналогічного піку, а потім деградує.
• Техніка орієнтована на MXFP4 — формат мікромасштабування з 4 бітами, що робить отримані моделі добре придатними для апаратного забезпечення, яке підтримує низькобітний інференс, включно зі споживчими GPU та Apple Silicon.
• Незалежні бенчмарки ще не опубліковані; всі показники продуктивності надходять із власних звітів Multiverse Computing у блозі Hugging Face.

Чому стиснена модель може перевершити свого батька

Контрінтуїтивний результат — менша, квантизована модель перемагає більшу, повноточну — пояснюється тим, як QAH структурує фазу відновлення. Стандартне навчання з урахуванням квантизації починається зі стисненого чекпоінту та дообробляє його, але стиснена модель вже втратила структурну інформацію, яку важко відновити. QAH натомість зберігає оригінальну модель до стиснення замороженою як вчителя та дистилює знання назад у стисненого учня. Оскільки вчитель ніколи не змінюється, сигнал, з якого навчається учень, є чистим.

Практичне значення: якщо ваш робочий процес передбачає локальний запуск великих моделей із відкритими вагами — для пайплайнів генерації зображень, перевірки узгодженості персонажів або вдосконалення промптів — чекпоінти, оброблені QAH, можуть дозволити вам запускати модель, яка працює як значно більша, за частку витрат пам'яті. Модель 60B MXFP4 поміщається на апаратному забезпеченні, з яким модель 120B bfloat16 мала б труднощі, а формат MXFP4 дедалі більше підтримується нативно на новішому кремнії.

Числа бенчмарків і що ще не підтверджено

Згідно з публікацією в блозі Hugging Face від Multiverse Computing, чекпоінт 60B MXFP4 із застосованим QAH набирає вищі бали, ніж проміжна модель 60B bfloat16 і вчитель 120B MXFP4, на всіх зазначених бенчмарках. У публікації також показано, що при застосуванні до меншої моделі GPT-OSS 9B, квантизованої до MXFP4, QAH досягає піку рано та залишається стабільним протягом 1 200 кроків — тоді як базовий рівень QAT потребує значно більше часу і потім руйнується.

Що ще не підтверджено: незалежна реплікація на сторонніх бенчмарках, продуктивність на завданнях поза зазначеним набором і поведінка на специфічних для домену робочих навантаженнях, як-от ті, що використовуються в підписуванні зображень або мультимодальних пайплайнах. Multiverse Computing не розкрила повний набір бенчмарків або точні використані завдання.

Стратегія стиснення змінюється для тих, хто запускає моделі локально

Для творців, які завантажують моделі з відкритими вагами для локального запуску — чи то для генерації зображень, чи то для побудови власних пайплайнів персонажів — рівень стиснення, у якому постачається модель, завжди передбачав компроміс якості. QAH, якщо результати узагальняться, переосмислює цей компроміс: агресивна квантизація до MXFP4 перестає бути крайнім засобом для апаратного забезпечення з обмеженою пам'яттю і починає виглядати як життєздатний основний формат.

Техніка також швидша у застосуванні, ніж повний QAT. Це важливо для супровідників моделей, які хочуть швидко випускати квантизовані варіанти після релізу базової моделі, що дало б екосистемі відкритого коду більше якісних 4-бітних чекпоінтів для роботи на таких платформах, як каталог моделей Charmloop.

Multiverse Computing опублікувала методологію та деталі чекпоінту на Hugging Face. Чи витримають здобутки на бенчмарках незалежну перевірку — наступне питання, і за ним варто стежити, перш ніж переводити робочий процес на MXFP4 як стандарт.