NVIDIA et Hugging Face ont publié conjointement une intégration de NeMo Automodel avec la bibliothèque Diffusers, permettant à quiconque d'affiner des modèles d'image Flux et des modèles vidéo Wan sur plusieurs GPU — sans écrire une seule ligne de code d'entraînement distribué.
Points clés
NeMo Automodel + Diffusers est une nouvelle intégration qui encapsule l'infrastructure d'entraînement distribué de NVIDIA dans l'API Hugging Face Diffusers familière.
Les modèles pris en charge au lancement incluent Flux.1 Dev (image) et Wan 2.1 (vidéo), avec une mise à l'échelle multi-GPU gérée automatiquement.
Le fine-tuning fonctionne sur un seul GPU au minimum et s'étend jusqu'à des clusters multi-nœuds ; NeMo gère le sharding, les checkpoints et la précision mixte de manière transparente.
Le workflow produit des checkpoints compatibles Diffusers standard, de sorte que les modèles affinés s'intègrent directement dans les pipelines de génération existants.
Selon le billet de blog Hugging Face, l'intégration est open source et disponible dès aujourd'hui via le package nemo-automodel.
Ce que NeMo Automodel change concrètement dans un run de fine-tuning
Historiquement, faire passer un fine-tuning Diffusers au-delà d'un seul GPU impliquait de se battre avec DistributedDataParallel de PyTorch, les configurations Accelerate ou les fichiers YAML DeepSpeed — rien de tout cela n'est accessible à quelqu'un dont la compétence principale est le prompting et la curation d'images d'entraînement. NeMo Automodel encapsule tout cela dans un simple appel de style AutoModel.from_pretrained(). Il suffit de pointer vers un checkpoint Flux ou Wan, de passer son jeu de données, de définir un nombre de GPU, et la bibliothèque gère automatiquement le parallélisme tensoriel, le gradient checkpointing et la précision mixte bf16/fp8.
La conséquence pratique : un fine-tuning qui nécessitait auparavant un A100 puissant peut désormais être réparti sur plusieurs cartes plus modestes — ou s'achever plus rapidement sur le même matériel. Pour les créateurs qui construisent des adaptations de style LoRA personnalisées de Flux.1 Dev sur un sujet, un style ou un produit, cela signifie des cycles d'itération plus courts entre les runs d'entraînement et les tests de prompts.
Fine-tuning image Flux et vidéo Wan côte à côte
Flux.1 Dev est devenu l'un des modèles de base les plus populaires pour la génération d'images personnalisées — vous pouvez parcourir les fine-tunes de la communauté dans le catalogue de modèles Charmloop pour constater l'étendue des styles déjà disponibles. L'intégration NeMo offre une voie crédible pour entraîner son propre adaptateur Flux sans dépendance à un fournisseur cloud : le format de checkpoint reste Diffusers standard, de sorte que le résultat fonctionne partout où Diffusers est utilisé pour l'inférence.
La prise en charge de Wan 2.1 est l'angle le plus novateur. Le fine-tuning vidéo a pris environ un an de retard sur le fine-tuning image en termes d'outillage accessible, et l'entraînement vidéo multi-GPU a été encore plus restreint. Pouvoir affiner un modèle de diffusion vidéo sur des séquences personnalisées — un style de mouvement spécifique, un personnage, un produit — en utilisant la même API qu'un modèle d'image représente une avancée significative vers des workflows de génération vidéo qui répondent réellement aux données d'entraînement propres aux créateurs.
Mettre un checkpoint affiné en production
Le résultat d'un run NeMo Automodel est un répertoire de checkpoint Diffusers standard. Cela signifie aucune étape de conversion, aucune manipulation de format — il suffit de le charger avec DiffusionPipeline.from_pretrained() et de générer. Pour les équipes qui utilisent déjà Diffusers dans un pipeline de production, l'intégration est pratiquement sans friction côté inférence.
Une gamme de sorties LoRA et de fine-tuning complet démontrant la cohérence de style et de sujet réalisable avec NeMo Automodel.
Les créateurs qui souhaitent expérimenter le fine-tuning avant de s'engager dans un run d'entraînement peuvent commencer par le générateur d'images Charmloop pour évaluer ce qu'un modèle Flux de base produit sur leur sujet cible — puis utiliser ces résultats de prompts pour constituer un jeu d'entraînement plus ciblé. La section guides couvre également les fondamentaux de la préparation des jeux de données, directement applicables à ce type de travail sur des modèles personnalisés.
Le package nemo-automodel est disponible sur PyPI dès maintenant. NVIDIA et Hugging Face ont indiqué que la prise en charge de modèles supplémentaires — incluant probablement d'autres architectures de diffusion vidéo — suivra à mesure que l'intégration mûrira.
