Fontes
Deixe do seu jeito
Se inspirou nesta história? Transforme a ideia na sua própria arte com IA em segundos — comece de graça, sem cartão.
Começar de graçaConverse sobre isso com
Escolha um companheiro e veja o que ele acha dessa história

Maya coloca cada novo modelo à prova — números primeiro, hype nunca.
Se inspirou nesta história? Transforme a ideia na sua própria arte com IA em segundos — comece de graça, sem cartão.
Começar de graçaEscolha um companheiro e veja o que ele acha dessa história
Um pesquisador de segurança demonstrou que dados privados de usuários, incluindo informações de identificação pessoal, podem ser extraídos da saída de modelos de IA disponíveis publicamente, revelando uma vulnerabilidade crítica na cadeia de suprimentos de IA. Isso significa que criadores que usam modelos de IA para geração de imagens ou personagens podem ter seus dados privados expostos inadvertidamente se eles foram incluídos nos dados de treinamento.
O pesquisador, que optou por permanecer anônimo, injetou sistematicamente aproximadamente 2 milhões de "canários" únicos em vários conjuntos de dados públicos comumente usados para treinamento de modelos de IA. Esses canários foram projetados para serem distintos e rastreáveis, imitando pontos de dados privados do mundo real. O objetivo era ver se esses segredos plantados ressurgiriam nas saídas de modelos de IA treinados nesses conjuntos de dados. O experimento confirmou que sim, com uma taxa notável de extração de múltiplos modelos, incluindo grandes modelos de linguagem (LLMs) e modelos de geração de imagens. Isso não é teórico; nomes específicos, endereços de e-mail e outras informações sensíveis foram recuperados.
O mecanismo por trás desses vazamentos é frequentemente uma combinação de anonimização insuficiente de dados durante o treinamento e a tendência dos modelos de memorizar e reproduzir porções de seus dados de treinamento. Embora os desenvolvedores de IA frequentemente afirmem filtrar ou anonimizar informações sensíveis, esta pesquisa indica que essas medidas não são robustas o suficiente. Para criadores, isso significa que se seus dados pessoais, ou mesmo ativos de imagem proprietários, de alguma forma entrarem no conjunto de treinamento de um modelo, há um risco tangível de que esses dados sejam reproduzidos em uma saída gerada por outro usuário.
Essa vulnerabilidade se estende além de simples prompts de texto. Para criadores de arte de IA que geram imagens ou personagens, as implicações são diretas: quaisquer elementos estilísticos únicos, motivos proprietários ou até mesmo metadados incorporados que cheguem aos dados de treinamento podem ser potencialmente reproduzidos. Isso borra as linhas de propriedade intelectual e privacidade de uma forma que é difícil de policiar uma vez que os dados são ingeridos por um modelo. Também destaca preocupações para usuários de companheiros de IA, onde dados de conversação poderiam, teoricamente, ser memorizados e regurgitados.
Plataformas como Charmloop que fornecem ferramentas de geração de imagens de IA frequentemente dependem de modelos fundamentais ou os ajustam com conjuntos de dados adicionais. A transparência desses conjuntos de dados subjacentes e suas políticas de governança de dados tornam-se primordiais. Os criadores devem estar cientes de que a natureza de "caixa preta" de muitos modelos de IA significa que, uma vez que os dados são absorvidos, seu destino está em grande parte fora de seu controle. Isso torna a escolha do modelo e da plataforma uma decisão crítica de privacidade, não apenas criativa.
De acordo com a Ars Technica, as descobertas do pesquisador apontam para uma "cadeia de suprimentos de IA com vazamentos" que está expondo dados secretos de usuários a uma taxa alarmante. Isso ressalta a necessidade urgente de práticas de governança de dados mais rigorosas, melhores técnicas de anonimização e divulgação mais clara por parte dos desenvolvedores de IA sobre suas fontes de dados de treinamento e salvaguardas de privacidade. Órgãos reguladores estão cada vez mais examinando as práticas de dados de IA, mas as soluções técnicas estão atrasadas. Até que proteções mais fortes sejam implementadas, os criadores devem assumir que quaisquer dados, por mais obscuros que pareçam, podem ser potencialmente extraídos da saída de um modelo de IA. Isso pode influenciar como os criadores escolhem licenciar seu trabalho ou contribuir para conjuntos de dados públicos, especialmente para aqueles que dependem de estilos únicos ou branding pessoal.
A pesquisa reforça a ideia de que a privacidade de dados na era da IA é uma responsabilidade compartilhada, exigindo vigilância de usuários, desenvolvedores e reguladores. À medida que os modelos de IA se tornam mais sofisticados e integrados aos fluxos de trabalho criativos diários, garantir a segurança dos dados subjacentes será um desafio contínuo. Criadores que procuram modelos com políticas de dados transparentes podem explorar modelos de IA de peso aberto que oferecem mais informações sobre suas fontes de dados de treinamento.