NVIDIA e Hugging Face lançaram conjuntamente uma integração do NeMo Automodel com a biblioteca Diffusers que permite a qualquer pessoa fazer fine-tuning dos modelos de imagem Flux e dos modelos de vídeo Wan em múltiplas GPUs — sem escrever uma linha de código de treinamento distribuído.
Principais destaques
NeMo Automodel + Diffusers é uma nova integração que encapsula a infraestrutura de treinamento distribuído da NVIDIA dentro da familiar API do Hugging Face Diffusers.
Os modelos suportados no lançamento incluem Flux.1 Dev (imagem) e Wan 2.1 (vídeo), com escalonamento multi-GPU gerenciado automaticamente.
O fine-tuning roda em apenas uma GPU e escala até clusters multi-nó; o NeMo gerencia sharding, checkpointing e precisão mista de forma transparente.
O fluxo de trabalho produz checkpoints padrão compatíveis com Diffusers, de modo que os modelos ajustados se encaixam diretamente nos pipelines de geração existentes.
De acordo com o post do blog do Hugging Face, a integração é open-source e está disponível hoje pelo pacote nemo-automodel.
O que o NeMo Automodel realmente muda em uma execução de fine-tuning
Historicamente, escalar um fine-tuning do Diffusers além de uma única GPU significava lidar com o DistributedDataParallel do PyTorch, configurações do Accelerate ou arquivos YAML do DeepSpeed — nada disso é amigável para quem tem como principal habilidade criar prompts e curar imagens de treinamento. O NeMo Automodel encapsula tudo isso em uma única chamada no estilo AutoModel.from_pretrained(). Você aponta para um checkpoint do Flux ou Wan, passa seu dataset, define a quantidade de GPUs e a biblioteca cuida automaticamente do paralelismo de tensores, do gradient checkpointing e da precisão mista bf16/fp8.
O resultado prático: um fine-tuning que antes exigia uma única A100 robusta agora pode ser distribuído entre várias placas menores — ou concluído mais rapidamente no mesmo hardware. Para criadores que constroem adaptações no estilo LoRA do Flux.1 Dev para um sujeito, estilo ou produto específico, isso significa ciclos de iteração mais curtos entre execuções de treinamento e testes de prompt.
Fine-tuning de imagem com Flux e de vídeo com Wan lado a lado
O Flux.1 Dev se tornou um dos modelos base mais populares para geração de imagens personalizadas — você pode explorar fine-tunes da comunidade no catálogo de modelos da Charmloop para ver a amplitude de estilos já disponíveis. A integração com o NeMo adiciona um caminho confiável para treinar seu próprio adaptador Flux sem dependência de fornecedor de nuvem: o formato de checkpoint permanece como Diffusers padrão, portanto o resultado funciona em qualquer lugar que execute inferência com Diffusers.
O suporte ao Wan 2.1 é o aspecto mais inovador. O fine-tuning de vídeo ficou cerca de um ano atrás do fine-tuning de imagem em termos de ferramentas acessíveis, e o treinamento de vídeo em múltiplas GPUs foi ainda mais restrito. Poder fazer fine-tuning de um modelo de difusão de vídeo com footage personalizado — um estilo de movimento específico, um personagem, um produto — usando a mesma API de um modelo de imagem é um passo significativo em direção a fluxos de trabalho de geração de vídeo que realmente respondem a dados de treinamento específicos do criador.
Colocando um checkpoint ajustado em produção
O resultado de uma execução do NeMo Automodel é um diretório de checkpoint padrão do Diffusers. Isso significa nenhuma etapa de conversão, nenhuma manipulação de formato — basta carregá-lo com DiffusionPipeline.from_pretrained() e gerar. Para equipes que já utilizam Diffusers em um pipeline de produção, a integração tem atrito praticamente zero no lado da inferência.
Uma variedade de saídas com LoRA e fine-tuning completo demonstrando a consistência de estilo e sujeito alcançável com o NeMo Automodel.
Criadores que desejam experimentar o fine-tuning antes de se comprometer com uma execução de treinamento podem começar com o gerador de imagens da Charmloop para avaliar o que um modelo Flux base produz para o sujeito-alvo — e então usar esses resultados de prompt para curar um conjunto de treinamento mais refinado. A seção de guias também aborda os fundamentos de preparação de datasets que se aplicam diretamente a esse tipo de trabalho com modelos personalizados.
O pacote nemo-automodel está disponível no PyPI agora. NVIDIA e Hugging Face indicaram que suporte a modelos adicionais — provavelmente incluindo outras arquiteturas de difusão de vídeo — virá à medida que a integração amadurece.
