Ti ha ispirato questa storia? Trasforma l’idea nella tua arte con IA in pochi secondi: inizi gratis, senza carta.
Inizia gratisHugging Face ha pubblicato una guida completa per eseguire Transformers.js all'interno delle estensioni Chrome, il che significa che i modelli AI possono ora girare interamente nel browser — in locale, in modo privato e senza una singola chiamata API.
Il post del blog di Hugging Face illustra un'estensione Chrome completa e funzionante che carica un modello Transformers.js all'interno di un service worker — lo script in background persistente che le estensioni Chrome utilizzano per la logica cross-tab. Il modello viene caricato una volta sola, rimane residente in memoria e risponde ai messaggi da qualsiasi scheda o popup senza ricaricare i pesi ogni volta. Questa architettura è importante: le precedenti demo AI basate su browser spesso ricaricavano il modello a ogni interazione con la pagina, rendendole frustranti nella pratica.
La guida si rivolge agli sviluppatori piuttosto che agli utenti finali, ma il risultato pratico è un modello che qualsiasi creatore con competenze tecniche può seguire per realizzare il proprio strumento AI nativo del browser.
La maggior parte degli strumenti AI che i creatori usano oggi dipende dal cloud: si invia un prompt, un server remoto esegue il modello, si riceve un risultato. Questo modello funziona bene finché il provider non cambia i prezzi, non va offline o non decide di limitare determinate categorie di contenuti. L'inferenza locale aggira tutto questo.
Eseguire un modello all'interno di un'estensione Chrome significa che i pesi risiedono sul dispositivo dell'utente. L'inferenza non lascia mai il browser. Per i creatori che lavorano con concept di personaggi, immagini di riferimento o librerie di prompt che preferirebbero non inviare a un server di terze parti, si tratta di un significativo miglioramento della privacy.
Significa anche zero costo marginale per inferenza. Una volta installata l'estensione e memorizzato nella cache il modello, ogni suggerimento di prompt, ogni tag di stile, ogni chiamata di classificazione delle immagini è gratuita — per sempre.
L'architettura è adatta a strumenti assistivi leggeri piuttosto che alla generazione completa di immagini (l'hardware del browser non è ancora pronto per modelli della scala di Stable Diffusion a velocità accettabile). I casi d'uso realistici a breve termine includono:
Nessuno di questi richiede una GPU potente. I modelli di visione-linguaggio e di testo più piccoli del catalogo Hugging Face girano adeguatamente su WebGPU in un browser moderno. I creatori a proprio agio con JavaScript — o disposti a usare un modello AI open-source per la scrittura di codice per impostare il codice base — possono avere un prototipo funzionante in un pomeriggio.
L'API WebGPU di Chrome, ora stabile in Chrome 113 e versioni successive, è ciò che rende tutto questo praticabile. Fornisce al JavaScript del browser accesso diretto al calcolo GPU, che Transformers.js utilizza per accelerare le operazioni matriciali. Il risultato è un'inferenza misurabilmente più veloce rispetto al fallback solo WebAssembly — abbastanza veloce per l'assistenza ai prompt in tempo reale anche su hardware consumer di fascia media.
L'inferenza AI basata su browser è ancora limitata rispetto a una workstation GPU dedicata, ma per la categoria di modelli piccoli e assistivi che aiutano i creatori a lavorare più velocemente su piattaforme come il generatore di Charmloop, il limite di prestazioni è sufficientemente alto da fare la differenza.
Il passo logico successivo è che la community rilasci estensioni reali costruite su questo schema. L'Hugging Face Hub ospita già migliaia di piccoli modelli di visione e linguaggio compatibili con Transformers.js. Man mano che il supporto WebGPU si estende a Firefox e Safari — entrambi hanno implementazioni in corso — la portata degli strumenti AI nativi del browser si amplierà ulteriormente. I creatori che imparano a costruire con questo stack ora avranno un vantaggio significativo in una categoria di strumenti che non esiste ancora.