Hugging Face opublikowało szczegółowy przepis na trening async GRPO, który uruchamia fine-tuning LoRA w rozproszonych HF Jobs, korzystając wyłącznie z bucketa zgodnego z S3 i lekkiego proxy HTTPS — eliminując bibliotekę komunikacji zbiorowej NCCL, która zwykle sprawia, że trenowanie na wielu węzłach GPU staje się koszmarem zarządzania klastrem.
Najważniejsze wnioski
- Async GRPO + LoRA na HF Jobs eliminuje potrzebę stosowania NCCL, kierując aktualizacje adapterów przez współdzielony bucket object-storage i proxy HTTPS — dzięki temu fine-tuning RL na wielu węzłach staje się dostępny bez dedykowanego klastra GPU.
- Trzy skoordynowane HF Jobs obsługują obciążenie: trainer TRL, pula replik wnioskowania vLLM oraz lekkie proxy łączące je przez HTTPS — katalog adapterów LoRA przemieszcza się między zadaniami za pośrednictwem zamontowanego bucketa.
- Adaptery LoRA są synchronizowane asynchronicznie, dzięki czemu repliki wnioskowania mogą nadal generować rollouts, podczas gdy trainer aktualizuje wagi — co ogranicza czas bezczynności GPU w porównaniu z synchronicznymi konfiguracjami GRPO.
- Konfiguracja jest skierowana do zespołów bez sieci obsługującej NCCL, w tym użytkowników chmurowych instancji spot i wszystkich pracujących na heterogenicznej lub objętej firewallem infrastrukturze.
- TRL (Transformer Reinforcement Learning library) obsługuje pętlę treningową GRPO; vLLM obsługuje szybkie wnioskowanie — oba są open-source i szeroko stosowane w społeczności fine-tuningu AI.
Dlaczego NCCL jest zwykłym wąskim gardłem
Standardowy rozproszony trening GRPO opiera się na NCCL — bibliotece komunikacji zbiorowej NVIDIA — do synchronizacji gradientów i wag modelu między GPU przy wysokiej przepustowości. Sprawdza się to dobrze w ściśle powiązanym klastrze on-prem, ale zawodzi lub staje się nadmiernie skomplikowane na chmurowych instancjach spot, między strefami dostępności lub wszędzie tam, gdzie sieć nie obsługuje niskolatencyjnej tkaniny, jakiej oczekuje NCCL. Zespoły próbujące uruchamiać fine-tuning z uczeniem przez wzmacnianie przy realistycznych budżetach historycznie mocno uderzały w tę ścianę.
Podejście Hugging Face całkowicie omija ten problem. Zamiast rozgłaszać tensory peer-to-peer między GPU, wytrenowany adapter LoRA — mały zestaw macierzy wag niskiej rangi, nie pełny model — jest zapisywany do zamontowanego bucketa zgodnego z S3 po każdym kroku treningowym. Repliki wnioskowania odczytują zaktualizowany adapter z tego samego zamontowanego bucketa. Warstwa koordynacji to po prostu HTTPS, obsługiwana przez mały proces proxy, z którym TRL komunikuje się przez localhost.
Architektura trzech zadań w praktyce
Według bloga Hugging Face, system działa jako trzy skoordynowane HF Jobs: trainer TRL GRPO, pula replik wnioskowania vLLM oraz proxy HTTPS. Trainer generuje partię promptów, repliki vLLM produkują rollouts przy użyciu bieżącego adaptera LoRA, a trainer aktualizuje wagi adaptera na podstawie sygnału nagrody. Ponieważ synchronizacja odbywa się przez bucket, a nie przez blokującą operację zbiorową, repliki wnioskowania nie muszą czekać, aż trainer zakończy pełną rundę synchronizacji — mogą nadal asynchronicznie produkować rollouts, co ogranicza czas bezczynności GPU, który jest plagą synchronicznych konfiguracji GRPO.
Dla przepływów pracy związanych ze sztuką AI i generowaniem postaci praktyczna implikacja jest bezpośrednia: dostrajanie modelu nagród w celu preferowania określonych stylów wizualnych, spójności postaci lub zachowań związanych z przestrzeganiem promptów — rodzaj preference-tuningu, który leży u podstaw wielu ulepszeń jakości obrazu — staje się wykonalne na chmurowych instancjach spot lub przy małych budżetach zarządzanego compute, zamiast wymagać zarezerwowanych węzłów z wieloma GPU. Mały rozmiar adaptera LoRA sprawia, że narzut synchronizacji przez bucket pozostaje niski nawet przy rozsądnych częstotliwościach treningu.
Koszty i wymagania
Konfiguracja wymaga magazynu obiektowego zgodnego z S3 (kwalifikują się AWS S3, Cloudflare R2 i podobne usługi), konta Hugging Face z dostępem do HF Jobs oraz znajomości konfiguracji TRL i vLLM. Nie jest to rozwiązanie jednym kliknięciem. Jednak wyeliminowanie NCCL jako twardej zależności znacząco obniża poprzeczkę infrastrukturalną — gdy Stability AI skalowało własny rozproszony trening w 2023 roku, błędna konfiguracja NCCL była powtarzającym się źródłem przebiegów treningowych, które po cichu rozbiegały się lub całkowicie zatrzymywały.
Twórcy, którzy już eksperymentują z fine-tuningiem LoRA — dla spójności stylu, character LoRA lub dostrajania przestrzegania promptów — mogą znaleźć podstawowe techniki w przewodnikach Charmloop i przeglądać style dostrojonych modeli w katalogu. Przepis Hugging Face jest skierowany do technicznie zaawansowanej części tej grupy odbiorców: osób, które chcą uruchamiać własną pętlę reward-tuningu GRPO, zamiast korzystać z hostowanego modelu.
Hugging Face nie ogłosiło zmian cenowych związanych z tym podejściem; rozliczenia HF Jobs są zgodne z obowiązującymi stawkami compute. Kolejną konkretną zależnością do obserwowania jest mapa drogowa TRL dotycząca natywnej obsługi async GRPO — obecny przepis wymaga ręcznej orkiestracji, którą przyszłe wydanie TRL mogłoby wchłonąć bezpośrednio do biblioteki.
