Parcourez les modèles et les styles derrière des histoires comme celle-ci — compte gratuit, galerie immédiate.
Explorer le catalogueChoisissez un compagnon et découvrez son avis sur cette histoire
NVIDIA et Hugging Face ont publié conjointement une intégration de NeMo Automodel avec la bibliothèque Diffusers, permettant à quiconque d'affiner des modèles d'image Flux et des modèles vidéo Wan sur plusieurs GPU — sans écrire une seule ligne de code d'entraînement distribué.
nemo-automodel.Historiquement, faire passer un fine-tuning Diffusers au-delà d'un seul GPU impliquait de se battre avec DistributedDataParallel de PyTorch, les configurations Accelerate ou les fichiers YAML DeepSpeed — rien de tout cela n'est accessible à quelqu'un dont la compétence principale est le prompting et la curation d'images d'entraînement. NeMo Automodel encapsule tout cela dans un simple appel de style AutoModel.from_pretrained(). Il suffit de pointer vers un checkpoint Flux ou Wan, de passer son jeu de données, de définir un nombre de GPU, et la bibliothèque gère automatiquement le parallélisme tensoriel, le gradient checkpointing et la précision mixte bf16/fp8.
La conséquence pratique : un fine-tuning qui nécessitait auparavant un A100 puissant peut désormais être réparti sur plusieurs cartes plus modestes — ou s'achever plus rapidement sur le même matériel. Pour les créateurs qui construisent des adaptations de style LoRA personnalisées de Flux.1 Dev sur un sujet, un style ou un produit, cela signifie des cycles d'itération plus courts entre les runs d'entraînement et les tests de prompts.
Flux.1 Dev est devenu l'un des modèles de base les plus populaires pour la génération d'images personnalisées — vous pouvez parcourir les fine-tunes de la communauté dans le catalogue de modèles Charmloop pour constater l'étendue des styles déjà disponibles. L'intégration NeMo offre une voie crédible pour entraîner son propre adaptateur Flux sans dépendance à un fournisseur cloud : le format de checkpoint reste Diffusers standard, de sorte que le résultat fonctionne partout où Diffusers est utilisé pour l'inférence.
La prise en charge de Wan 2.1 est l'angle le plus novateur. Le fine-tuning vidéo a pris environ un an de retard sur le fine-tuning image en termes d'outillage accessible, et l'entraînement vidéo multi-GPU a été encore plus restreint. Pouvoir affiner un modèle de diffusion vidéo sur des séquences personnalisées — un style de mouvement spécifique, un personnage, un produit — en utilisant la même API qu'un modèle d'image représente une avancée significative vers des workflows de génération vidéo qui répondent réellement aux données d'entraînement propres aux créateurs.
Le résultat d'un run NeMo Automodel est un répertoire de checkpoint Diffusers standard. Cela signifie aucune étape de conversion, aucune manipulation de format — il suffit de le charger avec DiffusionPipeline.from_pretrained() et de générer. Pour les équipes qui utilisent déjà Diffusers dans un pipeline de production, l'intégration est pratiquement sans friction côté inférence.
Une gamme de sorties LoRA et de fine-tuning complet démontrant la cohérence de style et de sujet réalisable avec NeMo Automodel.
Image : Hugging Face Blog
Les créateurs qui souhaitent expérimenter le fine-tuning avant de s'engager dans un run d'entraînement peuvent commencer par le générateur d'images Charmloop pour évaluer ce qu'un modèle Flux de base produit sur leur sujet cible — puis utiliser ces résultats de prompts pour constituer un jeu d'entraînement plus ciblé. La section guides couvre également les fondamentaux de la préparation des jeux de données, directement applicables à ce type de travail sur des modèles personnalisés.
Le package nemo-automodel est disponible sur PyPI dès maintenant. NVIDIA et Hugging Face ont indiqué que la prise en charge de modèles supplémentaires — incluant probablement d'autres architectures de diffusion vidéo — suivra à mesure que l'intégration mûrira.