Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Почати безкоштовноHugging Face опублікував повний посібник із запуску Transformers.js всередині Chrome-розширень — тепер AI-моделі можуть виконуватися повністю у браузері: локально, приватно та без єдиного API-виклику.
Публікація у блозі Hugging Face містить покрокове керівництво зі створення повноцінного Chrome-розширення, яке завантажує модель Transformers.js всередині service worker — постійного фонового скрипта, який Chrome-розширення використовують для логіки між вкладками. Модель завантажується один раз, залишається у пам'яті та відповідає на повідомлення з будь-якої вкладки або спливаючого вікна без повторного завантаження ваг. Ця архітектура важлива: попередні браузерні AI-демо часто перезавантажували модель при кожній взаємодії зі сторінкою, що на практиці робило їх нестерпно повільними.
Посібник орієнтований на розробників, а не на кінцевих користувачів, але практичний результат — це готовий шаблон, за яким будь-який технічно підготовлений автор може створити власний браузерний AI-інструмент.
Більшість AI-інструментів, якими користуються автори сьогодні, залежать від хмари: ви надсилаєте промпт, віддалений сервер запускає модель, ви отримуєте результат. Ця схема працює добре — доки провайдер не змінить ціни, не вийде з ладу або не вирішить обмежити певні категорії контенту. Локальний інференс обходить усе це стороною.
Запуск моделі всередині Chrome-розширення означає, що ваги зберігаються на машині користувача. Інференс ніколи не покидає браузер. Для авторів, які працюють із концептами персонажів, референсними зображеннями або бібліотеками промптів, які вони воліли б не надсилати на сторонній сервер, це суттєве покращення приватності.
Це також означає нульову граничну вартість кожного інференсу. Після встановлення розширення та кешування моделі кожна підказка до промпту, кожен тег стилю, кожен виклик класифікації зображення — безкоштовні назавжди.
Архітектура добре підходить для легких допоміжних інструментів, а не для повноцінної генерації зображень (браузерне залізо ще не готове для моделей масштабу Stable Diffusion на прийнятній швидкості). Реалістичні варіанти використання найближчим часом:
Жоден із цих варіантів не потребує потужного GPU. Менші візуально-мовні та текстові моделі з каталогу Hugging Face цілком прийнятно працюють на WebGPU у сучасному браузері. Автори, які добре знають JavaScript — або готові скористатися відкритою AI-моделлю для написання коду, щоб згенерувати шаблонний код, — можуть отримати робочий прототип за один вечір.
Саме WebGPU API від Chrome, стабільний починаючи з Chrome 113, робить це практичним. Він надає браузерному JavaScript прямий доступ до GPU-обчислень, які Transformers.js використовує для прискорення матричних операцій. Результат — інференс, що помітно швидший за резервний варіант лише на WebAssembly: достатньо швидкий для допомоги з промптами в реальному часі навіть на споживчому залізі середнього класу.
Браузерний AI-інференс досі поступається виділеній GPU-робочій станції, але для категорії невеликих допоміжних моделей, які допомагають авторам працювати швидше на таких платформах, як генератор Charmloop, стеля продуктивності достатньо висока, щоб це мало значення.
Логічний наступний крок — спільнота, яка випускатиме реальні розширення на основі цього шаблону. Hugging Face Hub вже містить тисячі невеликих візуальних і мовних моделей, сумісних із Transformers.js. Коли підтримка WebGPU поширюється на Firefox і Safari — обидва мають реалізації в процесі розробки — охоплення браузерних AI-інструментів розшириться ще більше. Автори, які навчаться будувати з цим стеком зараз, отримають значну перевагу в категорії інструментів, яких ще не існує.