Bu hikâye ilham mı verdi? Fikrini saniyeler içinde kendi yapay zekâ sanatına dönüştür — ücretsiz başla, kart gerekmez.
Ücretsiz başlaHugging Face, Transformers.js'i Chrome uzantılarında çalıştırmaya yönelik kapsamlı bir rehber yayımladı. Bu sayede AI modelleri artık tamamen tarayıcı içinde — yerel olarak, gizlilik korunarak ve tek bir API çağrısı yapılmadan — çalıştırılabiliyor.
Hugging Face blog yazısı, bir service worker içinde Transformers.js modeli yükleyen eksiksiz ve çalışır durumda bir Chrome uzantısını adım adım anlatıyor. Service worker, Chrome uzantılarının sekmeler arası mantık için kullandığı kalıcı arka plan betiğidir. Model bir kez yükleniyor, bellekte kalıcı olarak tutuluyor ve her seferinde ağırlıkları yeniden yüklemeden herhangi bir sekme ya da açılır pencereden gelen mesajlara yanıt veriyor. Bu mimari önemli: Önceki tarayıcı tabanlı AI demoları genellikle her sayfa etkileşiminde modeli yeniden yüklüyordu ve bu durum pratikte sinir bozucu bir yavaşlığa yol açıyordu.
Rehber, son kullanıcılardan çok geliştiricilere yönelik; ancak pratik çıktısı, teknik açıdan yetkin her içerik üreticisinin kendi tarayıcı tabanlı AI aracını hayata geçirmek için izleyebileceği bir plan niteliğinde.
İçerik üreticilerinin bugün kullandığı AI araçlarının büyük çoğunluğu buluta bağımlı: Bir prompt gönderiyorsunuz, uzak bir sunucu modeli çalıştırıyor, sonucu geri alıyorsunuz. Bu model, sağlayıcı fiyatlandırmayı değiştirene, hizmet kesintisi yaşanana ya da belirli içerik kategorileri kısıtlanana kadar sorunsuz işliyor. Yerel çıkarım tüm bunları devre dışı bırakıyor.
Bir modeli Chrome uzantısı içinde çalıştırmak, ağırlıkların kullanıcının makinesinde barındırıldığı anlamına geliyor. Çıkarım hiçbir zaman tarayıcıyı terk etmiyor. Karakter konseptleri, referans görseller veya üçüncü taraf bir sunucuya göndermek istemedikleri prompt kitaplıklarıyla çalışan üreticiler için bu, kayda değer bir gizlilik iyileştirmesi.
Ayrıca çıkarım başına sıfır marjinal maliyet anlamına geliyor. Uzantı kurulduktan ve model önbelleğe alındıktan sonra her prompt önerisi, her stil etiketi, her görüntü sınıflandırma çağrısı kalıcı olarak ücretsiz.
Bu mimari, tam görüntü üretiminden ziyade hafif yardımcı araçlara daha uygundur (tarayıcı donanımı henüz Stable Diffusion ölçeğindeki modeller için yeterli hıza ulaşmış değil). Gerçekçi kısa vadeli kullanım senaryoları şunlardır:
Bunların hiçbiri güçlü bir GPU gerektirmiyor. Hugging Face kataloğundaki daha küçük görüntü-dil ve metin modelleri, modern bir tarayıcıda WebGPU üzerinde yeterli performansla çalışıyor. JavaScript konusunda rahat olan ya da standart kod iskeletini oluşturmak için açık kaynaklı bir AI kodlama modeli kullanmaya istekli üreticiler, bir öğleden sonrada çalışan bir prototipe sahip olabilir.
Chrome 113 ve sonrasında kararlı hale gelen Chrome'un WebGPU API'si, bunu pratik kılan unsurdur. Tarayıcı JavaScript'ine GPU hesaplamasına doğrudan erişim sağlıyor; Transformers.js de matris işlemlerini hızlandırmak için bunu kullanıyor. Sonuç, yalnızca WebAssembly kullanan geri dönüş seçeneğinden ölçülebilir biçimde daha hızlı bir çıkarım — orta düzey tüketici donanımında bile gerçek zamanlı prompt yardımı için yeterince hızlı.
Tarayıcı tabanlı AI çıkarımı, özel bir GPU iş istasyonuyla kıyaslandığında hâlâ kısıtlı; ancak Charmloop'un üretici platformu gibi platformlarda üreticilerin daha hızlı çalışmasına yardımcı olan küçük, yardımcı modeller kategorisi için performans tavanı yeterince yüksek.
Mantıksal bir sonraki adım, topluluğun bu kalıp üzerine inşa edilmiş gerçek uzantılar sunmasıdır. Hugging Face Hub, Transformers.js ile uyumlu binlerce küçük görüntü ve dil modelini zaten barındırıyor. WebGPU desteği Firefox ve Safari'ye de yayıldıkça — her ikisinde de geliştirme süreci devam ediyor — tarayıcı tabanlı AI araçlarının erişimi daha da genişleyecek. Bu teknolojiyle şimdiden geliştirme yapmayı öğrenen üreticiler, henüz var olmayan bir araç kategorisinde önemli bir avantaj elde edecek.