NVIDIA i Hugging Face wspólnie udostępniły integrację NeMo Automodel z biblioteką Diffusers, która pozwala każdemu dostrajać modele obrazów Flux oraz modele wideo Wan na wielu kartach GPU — bez napisania ani jednej linii kodu do treningu rozproszonego.
Najważniejsze informacje
NeMo Automodel + Diffusers to nowa integracja, która opakowuje infrastrukturę treningu rozproszonego NVIDIA w znane API biblioteki Hugging Face Diffusers.
Modele obsługiwane przy starcie to Flux.1 Dev (obraz) i Wan 2.1 (wideo), a skalowanie na wiele GPU odbywa się automatycznie.
Dostrajanie działa już na jednej karcie GPU i skaluje się do klastrów wielowęzłowych; NeMo transparentnie obsługuje sharding, checkpointing i mieszaną precyzję.
Wynikiem procesu są standardowe checkpointy zgodne z Diffusers, dzięki czemu dostrojone modele można od razu wdrożyć w istniejących pipeline'ach generowania.
Zgodnie z wpisem na blogu Hugging Face, integracja jest open-source i dostępna już dziś za pośrednictwem pakietu nemo-automodel.
Co NeMo Automodel faktycznie zmienia w procesie fine-tuningu
Historycznie skalowanie fine-tuningu Diffusers poza jedną kartę GPU oznaczało zmagania z DistributedDataParallel PyTorcha, konfiguracjami Accelerate lub plikami YAML DeepSpeed — żadne z nich nie jest przyjazne dla kogoś, kto specjalizuje się głównie w tworzeniu promptów i selekcji obrazów treningowych. NeMo Automodel opakowuje to wszystko w jedno wywołanie w stylu AutoModel.from_pretrained(). Wskazujesz checkpoint Flux lub Wan, przekazujesz zbiór danych, ustawiasz liczbę GPU, a biblioteka automatycznie zajmuje się paralelizmem tensorów, gradient checkpointingiem oraz mieszaną precyzją bf16/fp8.
Praktyczny efekt: fine-tuning, który wcześniej wymagał potężnej pojedynczej karty A100, można teraz rozłożyć na kilka mniejszych kart — lub ukończyć szybciej na tym samym sprzęcie. Dla twórców budujących niestandardowe adaptacje w stylu LoRA modelu Flux.1 Dev dla konkretnego obiektu, stylu lub produktu oznacza to krótsze cykle iteracji między kolejnymi treningami a testami promptów.
Fine-tuning obrazów Flux i wideo Wan — porównanie
Flux.1 Dev stał się jednym z najpopularniejszych modeli bazowych do niestandardowego generowania obrazów — możesz przeglądać społecznościowe fine-tune'y w katalogu modeli Charmloop, by zobaczyć, jak szeroki jest już zakres stylów. Integracja z NeMo otwiera wiarygodną ścieżkę do trenowania własnego adaptera Flux bez uzależnienia od konkretnego dostawcy chmury: format checkpointu pozostaje standardowym Diffusers, więc wynik działa wszędzie tam, gdzie uruchamiane jest wnioskowanie Diffusers.
Obsługa Wan 2.1 to bardziej nowatorski aspekt. Fine-tuning wideo pozostawał w tyle za fine-tuningiem obrazów o mniej więcej rok pod względem dostępnych narzędzi, a wieloGPU trening wideo był jeszcze bardziej ograniczony. Możliwość dostrajania modelu dyfuzji wideo na własnych nagraniach — konkretnego stylu ruchu, postaci, produktu — przy użyciu tego samego API co model obrazów to znaczący krok w kierunku workflow generowania wideo, które rzeczywiście reaguje na dane treningowe specyficzne dla twórcy.
Wdrożenie dostrojonego checkpointu na produkcję
Wynikiem działania NeMo Automodel jest standardowy katalog checkpointów Diffusers. Oznacza to brak etapu konwersji, brak manipulowania formatem — wystarczy załadować go przez DiffusionPipeline.from_pretrained() i generować. Dla zespołów korzystających już z Diffusers w pipeline'ie produkcyjnym integracja jest praktycznie bezproblemowa po stronie wnioskowania.
Zestaw wyników pełnego fine-tuningu i LoRA demonstrujących spójność stylu i obiektu osiągalną dzięki NeMo Automodel.
Twórcy, którzy chcą poeksperymentować z fine-tuningiem przed przystąpieniem do pełnego treningu, mogą zacząć od generatora obrazów Charmloop, by sprawdzić, co bazowy model Flux produkuje dla ich docelowego obiektu — a następnie wykorzystać te wyniki promptów do selekcji ściślejszego zbioru treningowego. Sekcja poradników omawia również podstawy przygotowania zbiorów danych, które mają bezpośrednie zastosowanie w tego rodzaju pracy z niestandardowymi modelami.
Pakiet nemo-automodel jest już dostępny w PyPI. NVIDIA i Hugging Face zapowiedziały, że wraz z dojrzewaniem integracji pojawi się obsługa kolejnych modeli — prawdopodobnie obejmująca inne architektury dyfuzji wideo.
