Zainspirowała Cię ta historia? Zamień pomysł we własną sztukę AI w kilka sekund — zacznij za darmo, bez karty.
Zacznij za darmoHugging Face opublikowało kompletny przewodnik dotyczący uruchamiania Transformers.js wewnątrz rozszerzeń Chrome — co oznacza, że modele AI mogą teraz działać w całości w przeglądarce: lokalnie, prywatnie i bez jednego wywołania API.
Wpis na blogu Hugging Face przeprowadza przez kompletne, działające rozszerzenie Chrome, które ładuje model Transformers.js wewnątrz service workera — trwałego skryptu działającego w tle, którego rozszerzenia Chrome używają do logiki między kartami. Model ładuje się raz, pozostaje w pamięci i odpowiada na wiadomości z dowolnej karty lub okna popup bez ponownego ładowania wag za każdym razem. Ta architektura ma znaczenie: wcześniejsze dema AI oparte na przeglądarce często przeładowywały model przy każdej interakcji ze stroną, co w praktyce czyniło je frustrująco wolnymi.
Przewodnik jest skierowany do deweloperów, a nie do użytkowników końcowych, ale praktycznym efektem jest schemat, który każdy technicznie zorientowany twórca może wykorzystać do stworzenia własnego natywnego narzędzia AI dla przeglądarki.
Większość narzędzi AI używanych dziś przez twórców jest zależna od chmury: wysyłasz prompt, zdalny serwer uruchamia model, otrzymujesz wynik. Ten model działa dobrze, dopóki dostawca nie zmieni cennika, nie padnie lub nie zdecyduje się ograniczyć określonych kategorii treści. Lokalne wnioskowanie omija to wszystko.
Uruchamianie modelu wewnątrz rozszerzenia Chrome oznacza, że wagi znajdują się na maszynie użytkownika. Wnioskowanie nigdy nie opuszcza przeglądarki. Dla twórców pracujących z konceptami postaci, obrazami referencyjnymi lub bibliotekami promptów, których wolą nie wysyłać na serwer zewnętrzny, to znaczące ulepszenie prywatności.
Oznacza to również zerowy koszt krańcowy za każde wnioskowanie. Po zainstalowaniu rozszerzenia i zbuforowaniu modelu każda sugestia promptu, każdy tag stylu, każde wywołanie klasyfikacji obrazu jest bezpłatne — na zawsze.
Architektura doskonale nadaje się do lekkich narzędzi pomocniczych, a nie do pełnego generowania obrazów (sprzęt przeglądarki nie jest jeszcze gotowy na modele w skali Stable Diffusion przy odpowiedniej prędkości). Realistyczne zastosowania w najbliższym czasie obejmują:
Żadne z nich nie wymaga potężnego GPU. Mniejsze modele wizyjno-językowe i tekstowe z katalogu Hugging Face działają wystarczająco dobrze na WebGPU w nowoczesnej przeglądarce. Twórcy biegli w JavaScript — lub gotowi użyć open-source'owego modelu AI do kodowania do wygenerowania szablonu — mogą mieć działający prototyp w ciągu jednego popołudnia.
API WebGPU Chrome, stabilne od Chrome 113 i nowszych wersji, sprawia, że jest to praktyczne. Daje przeglądarkowemu JavaScriptowi bezpośredni dostęp do obliczeń GPU, który Transformers.js wykorzystuje do przyspieszenia operacji macierzowych. Efektem jest wnioskowanie mierzalnie szybsze niż w trybie fallback opartym wyłącznie na WebAssembly — wystarczająco szybkie do asystowania przy promptach w czasie rzeczywistym nawet na sprzęcie konsumenckim średniej klasy.
Przeglądarkowe wnioskowanie AI jest nadal ograniczone w porównaniu z dedykowaną stacją roboczą z GPU, ale dla kategorii małych, pomocniczych modeli wspierających twórców w szybszej pracy na platformach takich jak generator Charmloop, pułap wydajności jest wystarczająco wysoki, by miało to znaczenie.
Logicznym kolejnym krokiem jest społeczność tworząca rzeczywiste rozszerzenia oparte na tym wzorcu. Hugging Face Hub już teraz hostuje tysiące małych modeli wizyjnych i językowych kompatybilnych z Transformers.js. W miarę jak obsługa WebGPU rozszerza się na Firefox i Safari — oba mają implementacje w toku — zasięg natywnych narzędzi AI dla przeglądarki będzie się dalej poszerzał. Twórcy, którzy nauczą się budować z tym stosem technologicznym teraz, zyskają znaczącą przewagę w kategorii narzędzi, która jeszcze nie istnieje.