Вдохновила эта история? Преврати идею в собственное ИИ-искусство за секунды — бесплатный старт, без банковской карты.
Начать бесплатноHugging Face опубликовал подробное руководство по запуску Transformers.js внутри расширений Chrome — это означает, что ИИ-модели теперь могут работать полностью в браузере: локально, конфиденциально и без единого обращения к API.
Пост в блоге Hugging Face содержит полное рабочее расширение Chrome, которое загружает модель Transformers.js внутри сервис-воркера — постоянного фонового скрипта, который расширения Chrome используют для логики, общей для всех вкладок. Модель загружается один раз, остаётся в памяти и отвечает на сообщения из любой вкладки или всплывающего окна без повторной загрузки весов. Это принципиально важно: предыдущие браузерные ИИ-демо нередко перезагружали модель при каждом взаимодействии со страницей, что на практике делало их мучительно медленными.
Руководство ориентировано на разработчиков, а не на конечных пользователей, однако его практический результат — готовый шаблон, которому любой технически подготовленный создатель может следовать, чтобы выпустить собственный браузерный ИИ-инструмент.
Большинство ИИ-инструментов, которыми пользуются создатели сегодня, зависят от облака: вы отправляете промпт, удалённый сервер запускает модель, вы получаете результат. Эта схема работает до тех пор, пока провайдер не изменит тарифы, не уйдёт в даунтайм или не решит ограничить определённые категории контента. Локальный инференс обходит все эти проблемы стороной.
Запуск модели внутри расширения Chrome означает, что веса хранятся на машине пользователя. Инференс никогда не покидает браузер. Для создателей, работающих с концептами персонажей, референсными изображениями или библиотеками промптов, которые они предпочли бы не отправлять на сторонний сервер, это существенное улучшение конфиденциальности.
Кроме того, это означает нулевые предельные затраты на каждый инференс. После установки расширения и кэширования модели каждое предложение промпта, каждый тег стиля, каждый вызов классификации изображений — бесплатны навсегда.
Архитектура хорошо подходит для лёгких вспомогательных инструментов, а не для полноценной генерации изображений (браузерное железо пока не справляется с моделями масштаба Stable Diffusion на приемлемой скорости). Реалистичные сценарии использования в ближайшей перспективе:
Ни один из этих сценариев не требует мощного GPU. Небольшие визуально-языковые и текстовые модели из каталога Hugging Face вполне работоспособны на WebGPU в современном браузере. Создатели, знакомые с JavaScript — или готовые воспользоваться опенсорсной ИИ-моделью для написания кода для генерации шаблонного кода — смогут получить рабочий прототип за один день.
API WebGPU в Chrome, стабильный начиная с Chrome 113, и делает всё это практически осуществимым. Он предоставляет браузерному JavaScript прямой доступ к вычислениям на GPU, которые Transformers.js использует для ускорения матричных операций. В результате инференс заметно быстрее, чем при использовании только WebAssembly — достаточно быстро для помощи с промптами в реальном времени даже на потребительском железе среднего класса.
Браузерный ИИ-инференс по-прежнему уступает выделенной GPU-рабочей станции, однако для категории небольших вспомогательных моделей, помогающих создателям работать быстрее на таких платформах, как генератор Charmloop, производительности вполне достаточно, чтобы это имело значение.
Логичный следующий шаг — появление реальных расширений от сообщества, построенных на этом паттерне. Hugging Face Hub уже содержит тысячи небольших моделей компьютерного зрения и языковых моделей, совместимых с Transformers.js. По мере того как поддержка WebGPU распространяется на Firefox и Safari — у обоих есть реализации в разработке — охват браузерных ИИ-инструментов будет расширяться. Создатели, которые научатся работать с этим стеком сейчас, получат значительное преимущество в категории инструментов, которой пока не существует.