NVIDIA и Hugging Face совместно выпустили интеграцию NeMo Automodel с библиотекой Diffusers, которая позволяет любому желающему дообучать модели Flux для изображений и Wan для видео на нескольких GPU — без единой строки кода распределённого обучения.
Ключевые выводы
NeMo Automodel + Diffusers — новая интеграция, оборачивающая инфраструктуру распределённого обучения NVIDIA в привычный API Hugging Face Diffusers.
На момент запуска поддерживаются модели Flux.1 Dev (изображения) и Wan 2.1 (видео); масштабирование на несколько GPU выполняется автоматически.
Файнтюнинг запускается от одного GPU и масштабируется до многоузловых кластеров; NeMo прозрачно управляет шардингом, чекпоинтингом и смешанной точностью.
Рабочий процесс создаёт стандартные чекпоинты, совместимые с Diffusers, поэтому дообученные модели напрямую встраиваются в существующие пайплайны генерации.
Согласно публикации в блоге Hugging Face, интеграция является открытым исходным кодом и доступна сегодня через пакет nemo-automodel.
Что NeMo Automodel реально меняет в процессе файнтюнинга
Исторически масштабирование файнтюнинга Diffusers за пределы одного GPU означало борьбу с DistributedDataParallel в PyTorch, конфигами Accelerate или YAML-файлами DeepSpeed — ни одно из которых не дружелюбно к тому, чьи основные навыки — составление промптов и подбор обучающих изображений. NeMo Automodel оборачивает всё это в единственный вызов в стиле AutoModel.from_pretrained(). Вы указываете на чекпоинт Flux или Wan, передаёте датасет, задаёте количество GPU — и библиотека автоматически управляет тензорным параллелизмом, градиентным чекпоинтингом и смешанной точностью bf16/fp8.
Практический результат: файнтюнинг, который раньше требовал мощного одиночного A100, теперь можно распределить по нескольким картам меньшего размера — или завершить быстрее на том же железе. Для авторов, создающих кастомные адаптации в стиле LoRA для Flux.1 Dev под конкретный объект, стиль или продукт, это означает более короткие циклы итерации между обучающими запусками и тестами промптов.
Файнтюнинг Flux для изображений и Wan для видео: сравнение
Flux.1 Dev стал одной из самых популярных базовых моделей для кастомной генерации изображений — загляните в каталог моделей Charmloop, чтобы увидеть, насколько широк уже диапазон стилей. Интеграция NeMo открывает реальный путь к обучению собственного адаптера Flux без привязки к облачному провайдеру: формат чекпоинта остаётся стандартным Diffusers, поэтому результат работает везде, где запускается инференс Diffusers.
Поддержка Wan 2.1 — более новаторский аспект. Файнтюнинг видео отставал от файнтюнинга изображений примерно на год с точки зрения доступного инструментария, а мульти-GPU обучение видео было ограничено ещё сильнее. Возможность дообучать модель видеодиффузии на кастомных материалах — конкретном стиле движения, персонаже, продукте — используя тот же API, что и для модели изображений, является значимым шагом к рабочим процессам генерации видео, которые действительно реагируют на специфические обучающие данные авторов.
Вывод дообученного чекпоинта в продакшн
Результат запуска NeMo Automodel — стандартная директория чекпоинта Diffusers. Это означает отсутствие шага конвертации и возни с форматами — загрузите его через DiffusionPipeline.from_pretrained() и генерируйте. Для команд, уже использующих Diffusers в продакшн-пайплайне, интеграция фактически не создаёт никаких трудностей на стороне инференса.
Ряд выходных данных LoRA и полного файнтюнинга, демонстрирующих согласованность стиля и объекта, достижимую с NeMo Automodel.
Авторы, желающие поэкспериментировать с файнтюнингом перед тем, как приступить к обучающему запуску, могут начать с генератора изображений Charmloop, чтобы оценить, что базовая модель Flux выдаёт на их целевом объекте, — а затем использовать результаты промптов для формирования более точного обучающего набора. В разделе руководств также рассматриваются основы подготовки датасетов, непосредственно применимые к подобной работе с кастомными моделями.
Пакет nemo-automodel уже доступен на PyPI. NVIDIA и Hugging Face заявили, что по мере развития интеграции будет добавлена поддержка дополнительных моделей — вероятно, включая другие архитектуры видеодиффузии.
