Elias manşetlerin arkasındaki araştırmaları sade bir dille açıklar.
Prompt yazımı, stiller ve yapay zekâ görsel üretiminden en iyi şekilde yararlanma üzerine adım adım rehberler.
Rehberleri okuBir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Nvidia, ev ağınızdaki birden fazla bilgisayarı paylaşımlı bir yerel çıkarım havuzuna bağlayan ücretsiz, açık kaynaklı bir yazılım aracı olan Kişisel Yapay Zeka Yönlendiricisi'ni (PAIR) yayımladı. Bu araç, tek bir makinenin tek başına kaldıramayacağı büyük dil ve görüntü modellerini çalıştırmanıza imkân tanıyor.
PAIR, yerel bir orkestrasyon katmanı olarak işlev görür; model çalıştırıcınız (Ollama, LM Studio veya uyumlu bir API uç noktası) ile modellerin kendisi arasında konumlanan bir yazılımdır. Bir istem gönderdiğinizde PAIR, bağlı makinelerden hangisinin kullanılabilir işlem kapasitesine sahip olduğunu kontrol eder ve işi oraya yönlendirir ya da model destekliyorsa birden fazla düğüme böler. Bunu, ev ağınızın kullanılmayan GPU döngüleri için bir trafik yöneticisi olarak düşünebilirsiniz.
Yapay zeka sanatı yaratıcıları için pratik sonuçlar son derece anlamlıdır. Bugün 70 milyar parametreli bir metin modelini yerel olarak çalıştırmak için ya 40 GB veya daha fazla VRAM'e sahip tek bir GPU — pahalı bir donanım — ya da yavaş, yalnızca CPU tabanlı üretimi kabullenmek gerekiyor. PAIR, örneğin RTX 4070 masaüstü bilgisayarı ve eski bir RTX 3060 dizüstü bilgisayarı olan bir yaratıcının VRAM bütçelerini birleştirmesine olanak tanıyarak, daha önce çalıştırılamayan model boyutlarını bulut API faturası olmadan erişilebilir kılıyor.
Bağlı ev makinelerini ve etkin çıkarım yönlendirmesini gösteren Nvidia PAIR grafik arayüzü.
Görsel: The Verge / The Verge AI
Hem Ollama hem de LM Studio, yerel bir OpenAI uyumlu API uç noktası sunar; bu standartlaştırılmış arayüz, pek çok görüntü üretim hattı ve istem aracının zaten iletişim kurabildiği bir yapıdır. PAIR aynı katmana yerleşir; dolayısıyla yerel bir Ollama sunucusuna yönlendirilmiş mevcut herhangi bir iş akışı, istemler yeniden yazılmadan veya model yapılandırmaları değiştirilmeden PAIR ile çalışmaya devam etmelidir. Geçiş, iş akışını baştan sona yeniden düzenlemekten çok bir ayar değişikliğine benzer.
PAIR üzerinden Hermes modeline yönlendirilen bir istem; aracın çıkarım işini nasıl dağıttığını gösteriyor.
Görsel: The Verge / The Verge AI
İstem genişletme veya altyazı iyileştirme için yerel bir LLM kullanan görüntü üretim hatları çalıştıran yaratıcılar için — ComfyUI iş akışlarında yaygın bir örüntü — bu durum, söz konusu ön işleme adımında daha hızlı sonuçlar anlamına gelebilir; zira ikinci bir makinenin GPU'su bu işi üstlenirken birincil GPU difüzyona odaklanmaya devam eder.
The Verge'e göre, PAIR MacBook'ları da düğüm olarak destekliyor; bu durum, bir yaratıcının zaten sahip olabileceği ve kümeye katkıda bulunabileceği makine havuzunu genişletiyor.
Nvidia PAIR'in mimarisi; masaüstü, dizüstü ve diğer cihazların birleşik bir yerel işlem havuzu oluşturmasını gösteriyor.
Görsel: The Verge / The Verge AI
Nvidia, PAIR'in zamanlamasını doğal olarak kendi RTX GPU'ları için optimize ediyor — bu yılın başında Nvidia DLSS 5 lansmanında ele alınan donanım ailesiyle aynı. RTX kartlar, CUDA hızlandırmalı çıkarımdan yararlandığından, yalnızca CPU kullanan düğümlere kıyasla watt başına daha hızlı token ve latent işler. Bununla birlikte, yalnızca CPU kullanan makineler dışlanmıyor; daha düşük öncelikli katkıcılar olarak havuza katılıyorlar ve bu durum, daha küçük ön işleme görevlerini boşaltmak için kullanışlı.
AMD ve Intel GPU kullanıcıları daha belirsiz bir konumda. PAIR'in açık kaynaklı yapısı, ROCm veya OpenCL için topluluk sürücülerinin ortaya çıkabileceği anlamına geliyor; ancak Nvidia, lansmanında rakip GPU mimarileri için birinci taraf desteğini henüz doğrulamadı.
Charmloop rehberleri aracılığıyla yerel model çalıştırmayı keşfeden yaratıcılar için PAIR, yeni donanım satın almadan ölçek büyütmeye giden somut bir yolu temsil ediyor. Yerel olarak çalıştırabileceklerinizin tavanı yeni yükseldi — ne kadar yükseldiği ise ağınızda boşta bekleyen kaç makineniz olduğuna bağlı.
