Hugging Face, dağıtık HF Jobs üzerinde LoRA ince ayarını yalnızca bir S3 uyumlu bucket ve hafif bir HTTPS proxy ile çalıştıran ayrıntılı bir async GRPO eğitim tarifi yayımladı; bu sayede çok düğümlü GPU eğitimini küme yönetimi kabusu haline getiren NCCL toplu iletişim kütüphanesi devre dışı bırakılıyor.
Temel çıkarımlar
- HF Jobs'ta Async GRPO + LoRA, adaptör güncellemelerini paylaşılan bir nesne depolama bucket'ı ve bir HTTPS proxy üzerinden yönlendirerek NCCL ihtiyacını ortadan kaldırıyor; böylece çok düğümlü RL ince ayarı, özel bir GPU kümesi gerektirmeden erişilebilir hale geliyor.
- Üç koordineli HF Job iş yükünü üstleniyor: bir TRL eğiticisi, bir vLLM çıkarım replika havuzu ve bunları HTTPS üzerinden birbirine bağlayan hafif bir proxy — LoRA adaptör dizini, bucket bağlantısı aracılığıyla işler arasında taşınıyor.
- LoRA adaptörleri eş zamansız olarak senkronize ediliyor; böylece eğitici ağırlıkları güncellerken çıkarım replikaları rollout üretmeye devam edebiliyor — bu durum, senkron GRPO kurulumlarına kıyasla GPU boşta kalma süresini azaltıyor.
- Kurulum, NCCL uyumlu ağa sahip olmayan ekipleri hedefliyor; bulut spot örneği kullananlar ve heterojen ya da güvenlik duvarı arkasındaki altyapılarda çalışan herkes dahil.
- TRL (Transformer Reinforcement Learning kütüphanesi) GRPO eğitim döngüsünü yönetiyor; vLLM hızlı çıkarımı üstleniyor — her ikisi de açık kaynaklı ve yapay zeka ince ayar topluluğunda yaygın olarak kullanılıyor.
NCCL'nin Neden Olağan Darboğaz Olduğu
Standart dağıtık GRPO eğitimi, GPU'lar arasında yüksek bant genişliğiyle gradyanları ve model ağırlıklarını senkronize etmek için NCCL'ye — NVIDIA'nın Toplu İletişim Kütüphanesi'ne — dayanır. Bu, sıkı bağlı bir şirket içi kümede iyi çalışır; ancak bulut spot örneklerinde, kullanılabilirlik bölgeleri arasında veya ağın NCCL'nin beklediği düşük gecikmeli dokuyu desteklemediği her yerde bozulur ya da aşırı karmaşık hale gelir. Gerçekçi bütçelerle pekiştirmeli öğrenme ince ayarı çalıştırmaya çalışan ekipler, tarihsel olarak bu duvarla sert biçimde karşılaşmıştır.
Hugging Face yaklaşımı sorunu tamamen bertaraf ediyor. Tensörleri GPU'lar arasında eşler arası yayınlamak yerine, eğitilen LoRA adaptörü — tam model değil, küçük bir düşük sıralı ağırlık matrisleri kümesi — her eğitim adımından sonra bağlı bir S3 uyumlu bucket'a yazılıyor. Çıkarım replikaları, güncellenmiş adaptörü aynı bucket bağlantısından okuyor. Koordinasyon katmanı yalnızca HTTPS'ten ibaret; TRL'nin localhost üzerinden konuştuğu küçük bir proxy süreci tarafından yönetiliyor.
Üç İşli Mimarinin Pratikte Uygulanması
Hugging Face bloguna göre, sistem üç koordineli HF Job olarak çalışıyor: TRL GRPO eğiticisi, bir vLLM çıkarım replikası havuzu ve HTTPS proxy. Eğitici bir dizi istem üretiyor, vLLM replikaları mevcut LoRA adaptörünü kullanarak rollout üretiyor ve eğitici, ödül sinyali üzerinden adaptör ağırlıklarını güncelliyor. Senkronizasyon, engelleyici bir toplu işlem yerine bucket üzerinden gerçekleştiğinden, çıkarım replikaları eğiticinin tam bir senkronizasyon turunu tamamlamasını beklemek zorunda kalmıyor — eş zamansız olarak rollout üretmeye devam edebiliyorlar; bu da senkron GRPO kurulumlarını etkileyen GPU boşta kalma süresini azaltıyor.
Yapay zeka sanatı ve karakter oluşturma iş akışları için pratik sonuç doğrudandır: Belirli görsel stilleri, karakter tutarlılığını veya istem uyum davranışlarını tercih etmek üzere bir ödül modelini ince ayarlamak — pek çok görüntü kalitesi iyileştirmesinin arkasında yatan tercih ayarı türü — ayrılmış çok GPU'lu düğümler gerektirmek yerine bulut spot örneklerinde veya küçük yönetilen hesaplama bütçelerinde uygulanabilir hale geliyor. LoRA'nın küçük adaptör boyutu, makul eğitim sıklıklarında bile bucket senkronizasyon ek yükünün düşük kalmasını sağlıyor.
Maliyeti ve Hâlâ Gerektirdikleri
Kurulum, bir S3 uyumlu nesne deposu (AWS S3, Cloudflare R2 ve benzeri hizmetler uygundur), HF Jobs erişimine sahip bir Hugging Face hesabı ve TRL ile vLLM yapılandırmasına aşinalık gerektiriyor. Tek tıklamayla çalışan bir çözüm değil. Ancak NCCL'nin zorunlu bağımlılık olmaktan çıkarılması, altyapı engelini anlamlı biçimde düşürüyor — Stability AI 2023'te kendi dağıtık eğitimini ölçeklendirirken, NCCL yanlış yapılandırması sessizce sapan veya tamamen duran eğitim çalışmalarının tekrarlayan bir kaynağıydı.
Stil tutarlılığı, karakter LoRA'ları veya istem uyum ayarı için LoRA ince ayarıyla zaten deney yapan yaratıcılar, temel teknikleri Charmloop'un kılavuzlarında bulabilir ve ince ayarlı model stillerini katalogda inceleyebilir. Hugging Face tarifi, bu kitlenin teknik açıdan kendinden emin ucunu hedefliyor: Barındırılan bir model tüketmek yerine kendi GRPO ödül ayar döngüsünü çalıştırmak isteyenleri.
Hugging Face, bu yaklaşımla bağlantılı fiyatlandırma değişikliği duyurmadı; HF Jobs faturalandırması mevcut hesaplama ücretlerini takip ediyor. İzlenecek bir sonraki somut bağımlılık, TRL'nin yerel async GRPO desteğine ilişkin yol haritası — mevcut tarif, gelecekteki bir TRL sürümünün doğrudan kütüphaneye dahil edebileceği manuel orkestrasyon gerektiriyor.
