Explore os modelos e estilos por trás de histórias como esta — conta gratuita e galeria na hora.
Explorar o catálogo
Nunchaku, o motor de quantização 4-bit do MIT para transformadores de difusão, agora está oficialmente integrado ao Hugging Face Diffusers — o que significa que criadores podem rodar modelos Flux.1 em GPUs de nível consumidor com requisitos de VRAM dramaticamente menores e qualidade de imagem que se mantém comparável à saída BF16 em precisão total.
A maioria das abordagens de quantização mantém um branch em 16 bits ativo junto com os pesos quantizados, o que consome largura de banda de memória e parcialmente anula o propósito. A abordagem do Nunchaku é mais cirúrgica: ele funde a projeção descendente de baixo rank com o kernel de quantização, e a projeção ascendente de baixo rank com o kernel de computação 4-bit. O branch em 16 bits desaparece completamente do caminho crítico, que é de onde vêm as verdadeiras economias de VRAM.
O resultado prático: o Flux.1-dev, que normalmente exige uma GPU de alto desempenho, passa a ser executável em placas de consumo de nível intermediário. Isso importa muito se sua configuração local tem limite de 12 GB ou 16 GB de VRAM e você foi forçado a usar APIs em nuvem ou alternativas comprimidas que degradam visivelmente a saída.
A integração vem com dois modos. O Nunchaku padrão visa inferência 4-bit quase sem perdas — as comparações publicadas mostram saídas BF16 e 4-bit genuinamente difíceis de distinguir à primeira vista. O Nunchaku Lite vai além na redução das demandas de computação, tornando-o viável em hardware ainda mais modesto, ao custo de uma pequena queda de qualidade.
Para criadores que fazem geração em alto volume — fichas de personagens, iterações de estilo, prompts em lote — a variante Lite pode ser a escolha certa mesmo em hardware capaz, simplesmente pelo ganho de throughput. Para renders de qualidade final onde cada detalhe conta, o Nunchaku padrão é a melhor opção.
A equipe do Hugging Face observa em o post oficial do blog Nunchaku-Diffusers que a integração foi projetada para se encaixar nos pipelines Diffusers existentes com mudanças mínimas de código — nenhum novo framework de inferência para aprender, apenas uma configuração de quantização sobre os modelos que você já usa no gerador Charmloop ou na sua configuração local.
Antes dessa integração, usar o Nunchaku significava compilar a partir do código-fonte ou depender de wrappers de terceiros. Agora ele é um cidadão de primeira classe no Diffusers, o que significa que herda todo o ecossistema: ControlNet, carregamento de LoRA, encadeamento de pipelines e todas as ferramentas das quais os fluxos de trabalho baseados em Diffusers dependem.
Para criadores que acompanhavam o Flux de longe por causa de limitações de hardware, este é o ponto de entrada mais acessível até agora. O catálogo de modelos Charmloop já inclui opções baseadas em Flux para geração na nuvem, mas a inferência local via Nunchaku oferece controle sobre seed, scheduler e empilhamento de LoRA que as APIs em nuvem normalmente abstraem.
Isso também chega junto com um momentum crescente para inferência de difusão eficiente — NVIDIA e Hugging Face recentemente integraram o NeMo Automodel com o Diffusers para fine-tuning Flux em múltiplas GPUs, e o Nunchaku agora cobre o outro extremo do espectro: inferência em GPU única, hardware de consumo, sem sacrificar a qualidade central de saída do modelo.
O próximo passo lógico a observar é se o suporte ao Nunchaku se estende a outras arquiteturas de transformadores de difusão além do Flux — SD3, Wan video e modelos similares se beneficiariam da mesma abordagem de fusão de kernels, e a integração com o Diffusers torna essa expansão consideravelmente mais fácil de lançar.
