La piattaforma pubblicitaria di Meta ha diffuso promozioni a pagamento per un'app che prometteva esplicitamente di generare deepfake intimi non consensuali di vere politiche — con almeno un annuncio contenente un video pornografico che ritraeva quella che sembrava essere una parlamentare statunitense in carica.
Punti chiave
- Il sistema pubblicitario di Meta ha approvato e pubblicato annunci per un'app che commercializzava esplicitamente la capacità di creare deepfake nudi di politiche identificate per nome.
- Almeno un annuncio includeva un video pornografico con un deepfake molto simile a una vera politica statunitense, secondo Ars Technica.
- L'episodio rappresenta un fallimento diretto dell'infrastruttura di revisione pubblicitaria di Meta, non semplicemente un caso limite di moderazione dei contenuti.
- Le immagini intime non consensuali (NCII) generate dall'IA sono illegali in un numero crescente di stati americani e in diversi paesi, il che significa che le piattaforme che ospitano tali annunci si espongono a rischi legali sempre più elevati.
- Per chi crea immagini con l'IA, l'episodio inasprisce il contesto normativo: nei prossimi mesi ci si aspettano restrizioni più severe sull'identità e le sembianze delle persone sulle principali piattaforme di generazione.
Come gli annunci hanno superato il sistema di revisione di Meta
Secondo Ars Technica, gli annunci non erano affatto sottili — indicavano esplicitamente la funzionalità offerta e, in almeno un caso, la dimostravano con un deepfake pornografico. Ciò significa che la revisione automatica degli annunci di Meta, che dovrebbe individuare le violazioni delle policy prima che un annuncio vada in onda, ha fallito al livello più elementare di rilevamento dei contenuti. L'app non nascondeva affatto cosa facesse.
Meta dispone di policy che vietano gli annunci per prodotti che facilitano la creazione di immagini intime non consensuali. Il fatto che questi annunci abbiano comunque superato la revisione evidenzia un divario tra la policy scritta e l'infrastruttura di applicazione — un divario che diventa sempre più grave man mano che la qualità della generazione di immagini migliora e il costo per produrre deepfake convincenti si avvicina a zero.
Il problema più ampio dell'applicazione delle norme sulle NCII
Non si tratta di un episodio isolato. Il caso Grok CSAM di inizio anno — in cui lo strumento di generazione di immagini di xAI è stato utilizzato per sessualizzare una fotografia dell'infanzia — ha dimostrato che le misure di sicurezza per le immagini IA possono fallire in modo catastrofico anche sulle piattaforme di generazione dedicate. La situazione di Meta è probabilmente peggiore: il fallimento si è verificato a livello di distribuzione pubblicitaria, il che significa che la piattaforma è stata pagata per amplificare l'accesso allo strumento.
Sul piano legislativo, il terreno si sta spostando rapidamente. Il DEFIANCE Act federale statunitense e un insieme frammentato di leggi statali criminalizzano ora la distribuzione di NCII generate dall'IA, e l'AI Act dell'UE impone obblighi alle piattaforme che ospitano o promuovono tali strumenti. Pubblicare annunci per un'app che commercializza la nudificazione deepfake di persone identificate per nome è, in diverse giurisdizioni, una questione che va ben oltre i termini di servizio.
Cosa segnala questo alle piattaforme di immagini IA e ai creator
Per chiunque lavori con la generazione di immagini IA — che si tratti di creare personaggi, generare ritratti o sperimentare con prompt basati sulle sembianze — le ripercussioni normative di episodi come questo tendono a ricadere sull'intero settore, non solo sui cattivi attori. Quando una piattaforma di alto profilo come Meta viene sorpresa a distribuire annunci per un'app di nudificazione, la risposta di legislatori e altre piattaforme è solitamente quella di inasprire in modo generalizzato le regole su identità e sembianze.
In pratica, ci sono alcune cose da tenere d'occhio. Le piattaforme che attualmente consentono funzionalità flessibili di face-swap o corrispondenza delle sembianze potrebbero aggiungere ostacoli — ulteriori caselle di consenso, filtri più severi sui prompt con persone identificate per nome, o la rimozione definitiva di determinate funzionalità. Se utilizzi uno strumento che ti permette di fare riferimento a persone reali per nome nei prompt, documenta ora i tuoi flussi di lavoro attuali; quelle possibilità sono le prime a scomparire quando le piattaforme si affrettano a dimostrare la propria conformità.
La lezione più duratura riguarda il divario infrastrutturale. Le app di nudificazione deepfake non sono una novità, ma la loro qualità ha superato una soglia tale per cui il risultato è abbastanza convincente da poter essere usato come arma contro persone reali su larga scala. Quel salto qualitativo — lo stesso che rende le immagini generate dall'IA più utili per il lavoro creativo — è anche ciò che rende questa categoria di danni più grave. Legislatori e piattaforme stanno recuperando terreno, e il contesto normativo dei prossimi 12 mesi lo rifletterà.
Al momento della pubblicazione della notizia, Meta non aveva rilasciato una dichiarazione pubblica sugli annunci specifici. Il nome dell'app in questione non è stato riportato nell'articolo di Ars Technica.
