NVIDIA та Hugging Face спільно випустили інтеграцію NeMo Automodel із бібліотекою Diffusers, яка дозволяє будь-кому дообробляти моделі зображень Flux та відеомоделі Wan на кількох GPU — без жодного рядка коду розподіленого навчання.
Ключові висновки
NeMo Automodel + Diffusers — нова інтеграція, що загортає розподілену інфраструктуру навчання NVIDIA у звичний API Hugging Face Diffusers.
Підтримувані моделі на момент запуску: Flux.1 Dev (зображення) та Wan 2.1 (відео), масштабування на кілька GPU виконується автоматично.
Дообробка працює від одного GPU і масштабується до багатовузлових кластерів; NeMo прозоро керує шардингом, збереженням контрольних точок і змішаною точністю.
Робочий процес створює стандартні контрольні точки, сумісні з Diffusers, тому дооброблені моделі одразу вписуються в наявні конвеєри генерації.
Що насправді змінює NeMo Automodel у процесі дообробки
Історично масштабування дообробки Diffusers за межі одного GPU означало боротьбу з DistributedDataParallel у PyTorch, конфігами Accelerate або YAML-файлами DeepSpeed — жоден із яких не є дружнім до того, чиї основні навички — це промптинг і добір навчальних зображень. NeMo Automodel загортає все це в єдиний виклик у стилі AutoModel.from_pretrained(). Ви вказуєте на контрольну точку Flux або Wan, передаєте свій датасет, задаєте кількість GPU — і бібліотека автоматично керує тензорним паралелізмом, градієнтним збереженням контрольних точок і змішаною точністю bf16/fp8.
Практичний результат: дообробка, яка раніше вимагала потужного одиночного A100, тепер може бути розподілена між кількома менш потужними картами — або завершена швидше на тому самому обладнанні. Для творців, які будують власні адаптації у стилі LoRA для Flux.1 Dev на основі певного об'єкта, стилю або продукту, це означає коротші цикли ітерацій між навчальними запусками та тестами промптів.
Дообробка зображень Flux та відео Wan пліч-о-пліч
Flux.1 Dev став однією з найпопулярніших базових моделей для кастомної генерації зображень — ви можете переглянути спільнотні дообробки в каталозі моделей Charmloop, щоб побачити, наскільки широким уже є діапазон стилів. Інтеграція NeMo додає надійний шлях до навчання власного адаптера Flux без прив'язки до хмарного постачальника: формат контрольної точки залишається стандартним Diffusers, тому результат працює скрізь, де запускається інференс Diffusers.
Підтримка Wan 2.1 — більш новаторський аспект. Дообробка відео відставала від дообробки зображень приблизно на рік з точки зору доступного інструментарію, а багатоГПУ навчання відео було ще більш обмеженим. Можливість дообробляти відеодифузійну модель на кастомних відеоматеріалах — певний стиль руху, персонаж, продукт — використовуючи той самий API, що й для моделі зображень, є значним кроком до робочих процесів генерації відео, які справді реагують на специфічні для творця навчальні дані.
Введення дообробленої контрольної точки у виробництво
Результатом запуску NeMo Automodel є стандартна директорія контрольних точок Diffusers. Це означає відсутність кроку конвертації, відсутність маніпуляцій із форматом — завантажте за допомогою DiffusionPipeline.from_pretrained() і генеруйте. Для команд, які вже використовують Diffusers у виробничому конвеєрі, інтеграція фактично не створює жодних труднощів на стороні інференсу.
Діапазон виводів LoRA та повної дообробки, що демонструє узгодженість стилю та об'єкта, досяжну за допомогою NeMo Automodel.
Творці, які хочуть поекспериментувати з дообробкою перед тим, як розпочати навчальний запуск, можуть почати з генератора зображень Charmloop, щоб оцінити, що базова модель Flux виробляє на їхньому цільовому об'єкті, — а потім використати ці результати промптів для добору більш точного навчального набору. Розділ посібників також охоплює основи підготовки датасетів, які безпосередньо застосовуються до такого роду роботи з кастомними моделями.
Пакет nemo-automodel вже доступний на PyPI. NVIDIA та Hugging Face зазначили, що підтримка додаткових моделей — ймовірно, включаючи інші архітектури відеодифузії — з'явиться в міру розвитку інтеграції.
