Esplora i modelli e gli stili dietro storie come questa: account gratuito e galleria al volo.
Esplora il catalogo
Sette dei nove principali modelli di editing delle immagini ospitati su Hugging Face generano immagini di nudo non consensuale su richiesta, secondo un nuovo rapporto dell'organizzazione no-profit europea AI Forensics — una scoperta che mette sotto diretta osservazione le politiche della piattaforma sui modelli aperti.
Le piattaforme di modelli aperti affrontano una pressione crescente per moderare gli strumenti di generazione delle immagini utilizzati per i deepfake non consensuali.
Immagine: The Verge / The Verge AI
Il rapporto di AI Forensics, riportato da The Verge, si è concentrato specificamente sui modelli di editing delle immagini più scaricati su Hugging Face — non repository oscuri e nascosti, ma i più in cima alle classifiche. I ricercatori hanno scoperto che questi modelli rispondevano a prompt progettati per rimuovere i vestiti dalle foto di persone reali, inclusi i minori. La risposta della piattaforma, secondo il rapporto, è stata minima.
Hugging Face occupa una posizione unica nell'ecosistema AI: è allo stesso tempo il più grande hub di modelli open-weight del mondo e un'infrastruttura critica per i creatori indipendenti che vogliono eseguire modelli localmente o ottimizzarli per compiti specifici. Questo duplice ruolo rende la moderazione dei contenuti genuinamente complicata. Rimuovere un modello scaricato centinaia di migliaia di volte disturba i casi d'uso legittimi insieme a quelli dannosi — ma lasciarlo disponibile significa che la piattaforma, in pratica, distribuisce uno strumento per gli abusi.
Le piattaforme chiuse — Midjourney, Adobe Firefly, gli strumenti di immagini di OpenAI — applicano le politiche sui contenuti a livello di inferenza. Ogni richiesta di generazione passa attraverso un filtro. I modelli open-weight ospitati su Hugging Face non funzionano in questo modo. Una volta scaricato un modello, è l'operatore a controllare cosa farà e cosa non farà. La vera leva della piattaforma è solo decidere se ospitare o meno il modello.
È questo il divario che il rapporto di AI Forensics sta indicando. Hugging Face dispone di politiche sui contenuti che vietano i modelli progettati per generare materiale pedopornografico e immagini intime non consensuali, ma l'applicazione sembra incoerente. La no-profit ha scoperto che i modelli problematici non erano nascosti — si classificavano in cima ai risultati di ricerca per numero di download.
Per i creatori che si affidano a Hugging Face per accedere ai modelli di diffusione e ai fine-tune, questo ha implicazioni pratiche. Una reazione normativa contro la piattaforma potrebbe accelerare le restrizioni su quali modelli possono essere ospitati pubblicamente, riducendo a sua volta il pool di opzioni open-weight disponibili per il lavoro creativo legittimo. L'AI Act dell'UE e le varie leggi nazionali sui deepfake si stanno già muovendo in questa direzione; un rapporto di alto profilo come questo tende ad accelerare tale tempistica.
Non è la prima volta che Hugging Face affronta critiche per i contenuti ospitati — le controversie precedenti hanno riguardato la sicurezza dei modelli e gli accessi non autorizzati — ma i risultati di AI Forensics sono più incisivi perché documentano un danno specifico e ripetibile piuttosto che un rischio teorico.
Le conseguenze pratiche per i creatori meritano un'attenzione particolare. Se Hugging Face risponde con un filtraggio automatizzato più ampio o requisiti di caricamento più severi, tale attrito si applicherà a ogni modello sulla piattaforma, non solo a quelli dannosi. I creatori che attualmente prelevano modelli di generazione delle immagini direttamente dall'hub per flussi di lavoro locali potrebbero trovare meno opzioni disponibili, o dover affrontare nuovi requisiti di verifica per accedere a determinate classi di modelli.
Il rapporto arriva anche in un momento in cui la comunità open-weight sta già navigando le pressioni del settore riguardo alle restrizioni sui modelli. Aggiungere le preoccupazioni sui deepfake non consensuali a quel dibattito fornisce ai regolatori un danno concreto a cui fare riferimento — il che rappresenta un tipo di pressione diverso rispetto agli argomenti astratti sulla sicurezza.
