Esplora i modelli e gli stili dietro storie come questa: account gratuito e galleria al volo.
Esplora il catalogo
Nunchaku, il motore di quantizzazione a 4 bit del MIT per i diffusion transformer, è ora ufficialmente integrato in Hugging Face Diffusers — il che significa che i creator possono eseguire i modelli Flux.1 su GPU di fascia consumer con requisiti di VRAM drasticamente inferiori e una qualità delle immagini che regge il confronto con l'output BF16 a piena precisione.
La maggior parte degli approcci di quantizzazione mantiene attivo un ramo a 16 bit accanto ai pesi quantizzati, il che consuma larghezza di banda di memoria e vanifica in parte lo scopo. L'approccio di Nunchaku è più chirurgico: fonde la proiezione discendente a basso rango con il kernel di quantizzazione, e la proiezione ascendente a basso rango con il kernel di calcolo a 4 bit. Il ramo a 16 bit scompare completamente dal percorso critico, ed è lì che si trovano i veri risparmi di VRAM.
Il risultato pratico: Flux.1-dev, che normalmente richiede una GPU di fascia alta, diventa eseguibile su schede consumer di fascia media. Questo conta molto se il proprio setup locale si ferma a 12 GB o 16 GB di VRAM e si è stati costretti a usare API cloud o alternative compresse che degradano visibilmente l'output.
L'integrazione viene fornita con due modalità. Nunchaku standard punta a un'inferenza a 4 bit quasi senza perdite — i confronti pubblicati mostrano output BF16 e a 4 bit genuinamente difficili da distinguere a colpo d'occhio. Nunchaku Lite spinge oltre nella riduzione delle richieste di calcolo, rendendolo praticabile su hardware ancora più modesto, al costo di un modesto calo di qualità.
Per i creator che effettuano generazione ad alto volume — schede dei personaggi, iterazioni di stile, prompting in batch — la variante Lite potrebbe essere la scelta giusta anche su hardware capace, semplicemente per il guadagno in throughput. Per i render di qualità finale in cui ogni dettaglio conta, Nunchaku standard è la scelta migliore.
Il team di Hugging Face segnala nel post ufficiale del blog Nunchaku-Diffusers che l'integrazione è progettata per inserirsi nelle pipeline Diffusers esistenti con modifiche minime al codice — nessun nuovo framework di inferenza da imparare, solo una configurazione di quantizzazione sopra i modelli già in uso nel generatore Charmloop o nel proprio setup locale.
Prima di questa integrazione, usare Nunchaku significava o compilare dai sorgenti o affidarsi a wrapper di terze parti. Ora è un componente di prima classe in Diffusers, il che significa che eredita l'intero ecosistema: ControlNet, caricamento di LoRA, concatenamento di pipeline e tutti gli strumenti da cui dipendono i workflow basati su Diffusers.
Per i creator che hanno osservato Flux da lontano a causa dei limiti hardware, questo è il punto di accesso più accessibile finora. Il catalogo modelli di Charmloop include già opzioni basate su Flux per la generazione cloud, ma l'inferenza locale tramite Nunchaku offre il controllo su seed, scheduler e stacking di LoRA che le API cloud tipicamente astraggono.
Questo arriva anche in concomitanza con un crescente slancio verso un'inferenza di diffusione efficiente — NVIDIA e Hugging Face hanno recentemente integrato NeMo Automodel con Diffusers per il fine-tuning multi-GPU di Flux, e Nunchaku copre ora l'altro estremo dello spettro: inferenza su singola GPU, su hardware consumer, senza sacrificare la qualità core dell'output del modello.
Il prossimo passo logico da osservare è se il supporto a Nunchaku si estenderà ad altre architetture di diffusion transformer oltre a Flux — SD3, Wan video e modelli simili trarrebbero vantaggio dallo stesso approccio di fusione dei kernel, e l'integrazione con Diffusers rende quell'espansione considerevolmente più facile da distribuire.
