Explore os modelos e estilos por trás de histórias como esta — conta gratuita e galeria na hora.
Explorar o catálogo
Sete dos nove principais modelos de edição de imagem hospedados no Hugging Face geram imagens de nudez não consensual sob demanda, segundo um novo relatório da ONG europeia AI Forensics — uma descoberta que coloca as políticas de modelos abertos da plataforma sob escrutínio direto.
Plataformas de modelos abertos enfrentam pressão crescente para moderar ferramentas de geração de imagens usadas para deepfakes não consensuais.
Imagem: The Verge / The Verge AI
O relatório da AI Forensics, divulgado pelo The Verge, focou especificamente nos modelos de edição de imagem mais baixados do Hugging Face — não repositórios obscuros e enterrados, mas o topo das paradas. Os pesquisadores descobriram que esses modelos atendiam a prompts projetados para remover roupas de fotos de pessoas reais, incluindo menores. A resposta da plataforma, segundo o relatório, foi mínima.
O Hugging Face ocupa uma posição única no ecossistema de IA: é simultaneamente o maior hub de modelos de pesos abertos do mundo e uma peça crítica de infraestrutura para criadores independentes que desejam executar modelos localmente ou ajustá-los para tarefas específicas. Esse papel duplo torna a moderação de conteúdo genuinamente complicada. Remover um modelo que foi baixado centenas de milhares de vezes prejudica casos de uso legítimos junto com os prejudiciais — mas mantê-lo disponível significa que a plataforma está, na prática, distribuindo uma ferramenta para abuso.
Plataformas fechadas — Midjourney, Adobe Firefly, as ferramentas de imagem da OpenAI — aplicam políticas de conteúdo na camada de inferência. Cada solicitação de geração passa por um filtro. Modelos de pesos abertos hospedados no Hugging Face não funcionam dessa forma. Uma vez que um modelo é baixado, o operador controla o que ele fará ou não. A única alavancagem real da plataforma é decidir se hospeda o modelo ou não.
É essa lacuna que o relatório da AI Forensics está apontando. O Hugging Face possui políticas de conteúdo que proíbem modelos projetados para gerar material de abuso sexual infantil e imagens íntimas não consensuais, mas a aplicação parece inconsistente. A ONG descobriu que os modelos problemáticos não estavam ocultos — eles figuravam no topo dos resultados de busca por contagem de downloads.
Para criadores que dependem do Hugging Face para acessar modelos de difusão e ajustes finos, isso tem implicações práticas. Uma reação regulatória contra a plataforma poderia acelerar restrições sobre quais modelos podem ser hospedados publicamente, o que por sua vez reduz o conjunto de opções de pesos abertos disponíveis para trabalho criativo legítimo. O AI Act da UE e diversas leis nacionais sobre deepfakes já estão avançando nessa direção; um relatório de alto perfil como este tende a acelerar esse cronograma.
Esta não é a primeira vez que o Hugging Face enfrenta críticas sobre conteúdo hospedado — controvérsias anteriores tocaram em segurança de modelos e acesso não autorizado — mas as descobertas da AI Forensics são mais contundentes porque documentam um dano específico e repetível, em vez de um risco teórico.
A consequência prática para os criadores merece atenção. Se o Hugging Face responder com filtragem automatizada mais ampla ou requisitos de upload mais rígidos, esse atrito se aplicará a todos os modelos da plataforma, não apenas aos prejudiciais. Criadores que atualmente obtêm modelos de geração de imagens diretamente do hub para fluxos de trabalho locais podem encontrar menos opções disponíveis ou enfrentar novos requisitos de verificação para acessar determinadas classes de modelos.
O relatório também chega em um momento em que a comunidade de pesos abertos já está navegando pela pressão da indústria em torno de restrições a modelos. Adicionar preocupações com deepfakes não consensuais a esse debate oferece aos reguladores um dano concreto para apontar — o que representa um tipo diferente de pressão em comparação com argumentos abstratos de segurança.
