Stöbere durch die Modelle und Stile hinter Storys wie dieser – kostenloses Konto, Galerie sofort.
Katalog entdeckenWähle einen Companion und erfahre seine Meinung zu dieser Story
NVIDIA und Hugging Face haben gemeinsam eine NeMo Automodel-Integration mit der Diffusers-Bibliothek veröffentlicht, die es jedem ermöglicht, Flux-Bildmodelle und Wan-Videomodelle auf mehreren GPUs zu fine-tunen – ohne eine einzige Zeile verteilten Trainingscodes schreiben zu müssen.
nemo-automodel-Paket verfügbar.Historisch gesehen bedeutete die Skalierung eines Diffusers-Fine-Tunings über eine einzelne GPU hinaus einen Kampf mit PyTorchs DistributedDataParallel, Accelerate-Konfigurationen oder DeepSpeed-YAML-Dateien – alles andere als benutzerfreundlich für jemanden, dessen Hauptkompetenz im Prompten und Kuratieren von Trainingsbildern liegt. NeMo Automodel fasst all das in einem einzigen AutoModel.from_pretrained()-ähnlichen Aufruf zusammen. Man verweist es auf einen Flux- oder Wan-Checkpoint, übergibt den Datensatz, legt die GPU-Anzahl fest – und die Bibliothek übernimmt automatisch Tensor-Parallelismus, Gradient-Checkpointing sowie bf16/fp8-Mixed-Precision.
Das praktische Ergebnis: Ein Fine-Tuning, das zuvor eine leistungsstarke einzelne A100 erforderte, kann nun auf mehrere kleinere Karten verteilt – oder auf derselben Hardware schneller abgeschlossen werden. Für Creators, die benutzerdefinierte LoRA-ähnliche Adaptionen von Flux.1 Dev für ein Motiv, einen Stil oder ein Produkt entwickeln, bedeutet das kürzere Iterationszyklen zwischen Trainingsläufen und Prompt-Tests.
Flux.1 Dev hat sich zu einem der beliebtesten Basismodelle für benutzerdefinierte Bildgenerierung entwickelt – im Charmloop-Modellkatalog lässt sich bereits die enorme stilistische Bandbreite der Community-Fine-Tunes erkennen. Die NeMo-Integration bietet einen glaubwürdigen Weg, einen eigenen Flux-Adapter zu trainieren, ohne an einen Cloud-Anbieter gebunden zu sein: Das Checkpoint-Format bleibt standardmäßiges Diffusers, sodass das Ergebnis überall funktioniert, wo Diffusers-Inferenz läuft.
Die Unterstützung von Wan 2.1 ist der interessantere Aspekt. Video-Fine-Tuning hat dem Bild-Fine-Tuning in Bezug auf zugängliche Werkzeuge um etwa ein Jahr nachgehinkt, und Multi-GPU-Videotraining war noch stärker eingeschränkt. Die Möglichkeit, ein Video-Diffusionsmodell auf benutzerdefiniertem Filmmaterial zu fine-tunen – einen bestimmten Bewegungsstil, einen Charakter, ein Produkt – und dabei dieselbe API wie bei einem Bildmodell zu verwenden, ist ein bedeutender Schritt hin zu Video-Generierungs-Workflows, die tatsächlich auf creator-spezifische Trainingsdaten reagieren.
Das Ergebnis eines NeMo Automodel-Durchlaufs ist ein standardmäßiges Diffusers-Checkpoint-Verzeichnis. Das bedeutet keinen Konvertierungsschritt, kein Format-Jonglieren – einfach mit DiffusionPipeline.from_pretrained() laden und generieren. Für Teams, die Diffusers bereits in einer Produktions-Pipeline einsetzen, ist die Integration auf der Inferenzseite praktisch reibungslos.
Eine Auswahl von LoRA- und vollständigen Fine-Tune-Ausgaben, die die mit NeMo Automodel erreichbare Stil- und Motivkonsistenz demonstrieren.
Bild: Hugging Face Blog
Creators, die mit dem Fine-Tuning experimentieren möchten, bevor sie sich auf einen Trainingslauf festlegen, können mit dem Charmloop-Bildgenerator beginnen, um zu ermitteln, was ein Basis-Flux-Modell für ihr Zielmotiv produziert – und diese Prompt-Ergebnisse dann nutzen, um einen präziseren Trainingsdatensatz zusammenzustellen. Der Guides-Bereich behandelt außerdem die Grundlagen der Datensatzvorbereitung, die direkt auf diese Art von benutzerdefinierter Modellarbeit anwendbar sind.
Das nemo-automodel-Paket ist jetzt auf PyPI verfügbar. NVIDIA und Hugging Face haben angekündigt, dass mit der Weiterentwicklung der Integration weitere Modellunterstützung folgen wird – wahrscheinlich auch andere Video-Diffusionsarchitekturen.