Böyle hikâyelerin ardındaki modelleri ve stilleri keşfet — ücretsiz hesap, anında galeri.
Kataloğu keşfet
MIT'nin diffusion transformer'ları için geliştirdiği 4-bit kuantizasyon motoru Nunchaku, artık resmi olarak Hugging Face Diffusers'a entegre edildi; bu sayede yaratıcılar Flux.1 modellerini tüketici sınıfı GPU'larda çok daha düşük VRAM gereksinimiyle ve tam hassasiyetli BF16 çıktısına yakın görüntü kalitesiyle çalıştırabiliyor.
Çoğu kuantizasyon yaklaşımı, kuantize edilmiş ağırlıkların yanında 16-bit bir dalı canlı tutar; bu durum bellek bant genişliğini tüketir ve amacı kısmen boşa çıkarır. Nunchaku'nun yaklaşımı daha cerrahi: düşük dereceli aşağı projeksiyonu kuantizasyon çekirdeğiyle, düşük dereceli yukarı projeksiyonu ise 4-bit hesaplama çekirdeğiyle birleştiriyor. 16-bit dal, gerçek VRAM tasarrufunun sağlandığı kritik yoldan tamamen kayboluyor.
Pratik sonuç şu: Normalde üst düzey bir GPU gerektiren Flux.1-dev, orta seviye tüketici kartlarında çalıştırılabilir hale geliyor. Yerel kurulumunuz 12 GB veya 16 GB VRAM ile sınırlıysa ve çıktıyı gözle görülür biçimde bozan bulut API'lerine ya da sıkıştırılmış alternatiflere mahkûm kaldıysanız bu durum büyük önem taşıyor.
Entegrasyon iki modla birlikte geliyor. Standart Nunchaku, kayıpsıza yakın 4-bit çıkarımı hedefliyor; yayımlanan karşılaştırmalar, BF16 ve 4-bit çıktılarının bakışta ayırt edilmesinin gerçekten güç olduğunu gösteriyor. Nunchaku Lite ise hesaplama gereksinimlerini daha da azaltarak daha mütevazı donanımlarda bile kullanılabilir kılıyor; bunun bedeli ise mütevazı bir kalite düşüşü.
Karakter sayfaları, stil iterasyonları ve toplu istem oluşturma gibi yüksek hacimli üretim yapan yaratıcılar için Lite varyantı, yalnızca verim kazanımı açısından yetenekli donanımlarda bile doğru tercih olabilir. Her ayrıntının önem taşıdığı nihai kalite render'ları içinse standart Nunchaku daha iyi seçenek.
Hugging Face ekibi, resmi Nunchaku-Diffusers blog yazısında entegrasyonun mevcut Diffusers pipeline'larına minimum kod değişikliğiyle yerleşecek şekilde tasarlandığını belirtiyor; öğrenilecek yeni bir çıkarım çerçevesi yok, yalnızca Charmloop üretecinde veya yerel kurulumunuzda halihazırda kullandığınız modellerin üzerine eklenen bir kuantizasyon yapılandırması var.
Bu entegrasyondan önce Nunchaku kullanmak, kaynaktan derleme yapmayı ya da üçüncü taraf sarmalayıcılara güvenmeyi gerektiriyordu. Artık Diffusers'ın birinci sınıf bir üyesi olan Nunchaku, tüm ekosistemi miras alıyor: ControlNet, LoRA yükleme, pipeline zincirleme ve Diffusers tabanlı iş akışlarının bağımlı olduğu tüm araçlar.
Donanım sınırlamaları nedeniyle Flux'u kenarda izlemek zorunda kalan yaratıcılar için bu, şimdiye kadarki en erişilebilir giriş noktası. Charmloop model kataloğu bulut üretimi için Flux tabanlı seçenekleri zaten içeriyor; ancak Nunchaku aracılığıyla yerel çıkarım, bulut API'lerinin genellikle soyutladığı tohum, zamanlayıcı ve LoRA yığınlama üzerinde kontrol sağlıyor.
Bu gelişme, verimli diffusion çıkarımına yönelik büyüyen ivmeyle eş zamanlı geliyor; NVIDIA ve Hugging Face yakın zamanda NeMo Automodel'i çok GPU'lu Flux ince ayarı için Diffusers ile entegre etti; Nunchaku ise spektrumun diğer ucunu kapsıyor: modelin temel çıktı kalitesinden ödün vermeden tek GPU'lu, tüketici donanımı çıkarımı.
İzlenecek bir sonraki mantıksal adım, Nunchaku desteğinin Flux'un ötesinde diğer diffusion transformer mimarilerine genişleyip genişlemeyeceği; SD3, Wan video ve benzeri modeller aynı çekirdek füzyon yaklaşımından yararlanacaktır ve Diffusers entegrasyonu bu genişlemeyi önemli ölçüde kolaylaştırıyor.
