Еліас простою мовою пояснює дослідження, що стоять за заголовками.
Покрокові гайди про промпти, стилі та те, як вичавити максимум із генерації зображень ШІ.
Читати гайдиОбери компаньйона і дізнайся його думку про цю історію
Nvidia випустила Personal AI Router (PAIR) — безкоштовний інструмент із відкритим кодом, який об'єднує кілька комп'ютерів у домашній мережі у спільний локальний пул для інференсу, дозволяючи запускати більші мовні та графічні моделі, ніж будь-яка окрема машина могла б впоратися самостійно.
PAIR виступає локальним рівнем оркестрації — програмним забезпеченням, що розміщується між вашим засобом запуску моделей (Ollama, LM Studio або сумісною кінцевою точкою API) і самими моделями. Коли ви надсилаєте запит, PAIR перевіряє, яка підключена машина має вільні обчислювальні ресурси, і направляє завдання туди або розподіляє його між кількома вузлами, якщо модель це підтримує. Уявіть це як регулювальника руху для невикористаних циклів GPU у вашій домашній мережі.
Практична користь для творців ШІ-арту є відчутною. Запуск локальної текстової моделі з 70 мільярдами параметрів сьогодні зазвичай вимагає або одного GPU з 40 ГБ або більше відеопам'яті — дорогого заліза — або змиритися з повільною генерацією лише на CPU. PAIR дозволяє творцю, скажімо, з десктопом на RTX 4070 і старим ноутбуком на RTX 3060 об'єднати їхні бюджети відеопам'яті, роблячи доступними розміри моделей, які раніше не запускалися, без рахунків за хмарний API.
Графічний інтерфейс Nvidia PAIR, що відображає підключені домашні машини та активну маршрутизацію інференсу.
Зображення: The Verge / The Verge AI
Обидва — Ollama та LM Studio — надають локальну кінцеву точку API, сумісну з OpenAI, — стандартизований інтерфейс, з яким вже можуть взаємодіяти багато конвеєрів генерації зображень і інструментів для роботи із запитами. PAIR вбудовується на тому самому рівні, тому будь-який робочий процес, вже спрямований на локальний сервер Ollama, має працювати з PAIR перед ним без переписування запитів або зміни конфігурацій моделей. Перехід більше схожий на зміну налаштувань, ніж на перебудову робочого процесу.
Запит, маршрутизований через PAIR до моделі Hermes, що демонструє, як інструмент розподіляє завдання інференсу.
Зображення: The Verge / The Verge AI
Для творців, які використовують конвеєри генерації зображень із локальною LLM для розширення запитів або уточнення підписів — поширений патерн у робочих процесах ComfyUI — це може означати швидше виконання цього етапу попередньої обробки, оскільки GPU другої машини займається ним, поки основний GPU зосереджений на дифузії.
За даними The Verge, PAIR також підтримує MacBook як вузли, що розширює пул машин, якими творець вже може володіти і які можуть долучитися до кластера.
Архітектура Nvidia PAIR, що ілюструє, як десктоп, ноутбук та інші пристрої утворюють єдиний локальний обчислювальний пул.
Зображення: The Verge / The Verge AI
Nvidia природно оптимізує планування PAIR для власних GPU RTX — тієї самої лінійки апаратного забезпечення, що висвітлювалася у запуску Nvidia DLSS 5 раніше цього року. Карти RTX отримують вигоду від прискореного через CUDA інференсу, тому вони оброблятимуть токени та латенти швидше на ват, ніж вузли лише на CPU. Утім, машини лише з CPU не виключені: вони приєднуються до пулу як учасники з нижчим пріоритетом, що корисно для розвантаження менших завдань попередньої обробки.
Користувачі GPU від AMD та Intel перебувають у менш визначеному становищі. Відкрита природа PAIR означає, що можуть з'явитися драйвери спільноти для ROCm або OpenCL, однак Nvidia не підтвердила офіційну підтримку конкуруючих архітектур GPU на момент запуску.
Для творців, які вже досліджують локальний запуск моделей через посібники Charmloop, PAIR є конкретним шляхом до масштабування без придбання нового заліза. Стеля того, що можна запускати локально, щойно піднялася — наскільки саме, залежить від кількості машин, що простоюють у вашій мережі.
