Выбери компаньона и узнай его мнение об этой истории
Похожие статьи
Nvidia выпустила Personal AI Router (PAIR) — бесплатный инструмент с открытым исходным кодом, который объединяет несколько компьютеров домашней сети в общий локальный пул инференса, позволяя запускать более крупные языковые и графические модели, чем способна потянуть любая отдельная машина.
Ключевые тезисы
PAIR — это программа, а не железо. Несмотря на название, это приложение с открытым исходным кодом, а не физический сетевой маршрутизатор.
Совместимость с Ollama и LM Studio — двумя наиболее распространёнными локальными средами запуска моделей среди создателей ИИ-арта.
Простаивающие машины отдают вычислительные ресурсы. Подключённый к сети ноутбук, которым никто не пользуется, может передавать циклы GPU и CPU более тяжёлой задаче инференса на другой машине.
Никаких облачных платежей, никакой утечки данных за пределы сети. Весь инференс остаётся локальным — это важно для авторов, работающих с проприетарными стилями или конфиденциальными референсными изображениями.
RTX GPU получают приоритет при планировании задач, однако инструмент может использовать и машины только с CPU в качестве вторичных узлов.
Как PAIR распределяет инференс между машинами
PAIR выступает локальным оркестровым слоем — программой, которая располагается между вашим средством запуска моделей (Ollama, LM Studio или совместимой конечной точкой API) и самими моделями. При отправке промпта PAIR проверяет, на какой из подключённых машин есть свободные вычислительные ресурсы, и направляет задачу туда — либо распределяет её по нескольким узлам, если модель это поддерживает. Считайте его диспетчером трафика для неиспользуемых циклов GPU в вашей домашней сети.
Для создателей ИИ-арта практическая польза весьма ощутима. Сегодня локальный запуск текстовой модели с 70 миллиардами параметров, как правило, требует либо одного GPU с 40 ГБ VRAM и более — дорогостоящего железа, — либо мирится с медленной генерацией только на CPU. PAIR позволяет автору, у которого есть, скажем, десктоп с RTX 4070 и старый ноутбук с RTX 3060, объединить их бюджеты VRAM и получить доступ к ранее недоступным размерам моделей без счетов за облачный API.
Графический интерфейс Nvidia PAIR, отображающий подключённые домашние машины и активную маршрутизацию инференса.
Что интеграция с Ollama и LM Studio означает на практике
И Ollama, и LM Studio предоставляют локальную конечную точку API, совместимую с OpenAI, — стандартизированный интерфейс, с которым уже умеют работать многие пайплайны генерации изображений и инструменты для промптов. PAIR встраивается на том же уровне, поэтому любой рабочий процесс, уже направленный на локальный сервер Ollama, должен работать с PAIR перед ним без переписывания промптов или изменения конфигураций моделей. Переход больше похож на смену настроек, чем на перестройку рабочего процесса.
Промпт, маршрутизированный через PAIR к модели Hermes, демонстрирует, как инструмент распределяет задачу инференса.
Для авторов, использующих пайплайны генерации изображений с локальной LLM для расширения промптов или уточнения подписей — распространённый паттерн в рабочих процессах ComfyUI, — это может означать более быстрое выполнение этапа предобработки: GPU второй машины берёт его на себя, пока основной GPU сосредоточен на диффузии.
По данным The Verge, PAIR также поддерживает MacBook в качестве узлов, что расширяет пул машин, которые автор уже может иметь и подключить к кластеру.
Архитектура Nvidia PAIR: десктопы, ноутбуки и другие устройства образуют единый локальный вычислительный пул.
Контекст RTX-железа и что нужно знать пользователям без GPU Nvidia
Nvidia закономерно оптимизирует планировщик PAIR под собственные RTX GPU — то же семейство железа, которое фигурировало в запуске Nvidia DLSS 5 ранее в этом году. Карты RTX выигрывают от инференса с ускорением CUDA, поэтому они обрабатывают токены и латенты быстрее на ватт, чем узлы только на CPU. Тем не менее машины без GPU не исключены: они присоединяются к пулу как участники с более низким приоритетом, что полезно для разгрузки небольших задач предобработки.
Пользователи GPU от AMD и Intel находятся в менее определённом положении. Открытый исходный код PAIR допускает появление драйверов сообщества для ROCm или OpenCL, однако Nvidia не подтвердила официальную поддержку конкурирующих GPU-архитектур на момент запуска.
Для авторов, уже изучающих локальный запуск моделей с помощью руководств Charmloop, PAIR представляет конкретный путь к масштабированию без покупки нового железа. Потолок того, что можно запустить локально, только что сдвинулся — насколько далеко, зависит от того, сколько машин простаивает в вашей сети.
