Theo transforma as notícias de IA em coisas para você testar ainda hoje à noite.
Guias passo a passo sobre prompts, estilos e como aproveitar ao máximo a geração de imagens com IA.
Ler os guiasEscolha um companheiro e veja o que ele acha dessa história
Pesquisadores de segurança contornaram com sucesso os filtros de segurança dos modelos GPT-4o da OpenAI e Gemini do Google usando técnicas diretas de manipulação de prompts. Os ataques expõem falhas fundamentais na forma como os principais provedores de IA se protegem contra a geração de conteúdo explícito.
• Pesquisadores demonstraram métodos bem-sucedidos de contorno contra o GPT-4o da OpenAI e o Gemini do Google usando técnicas básicas de engenharia de prompts • Os ataques funcionam manipulando a forma como os modelos interpretam as diretrizes de segurança, em vez de explorar vulnerabilidades técnicas nos sistemas subjacentes • Os filtros de segurança atuais de ambas as empresas podem ser enganados para gerar conteúdo explícito, apesar de terem sido projetados especificamente para evitar esse tipo de saída • As descobertas destacam os desafios contínuos em segurança de IA à medida que os modelos se tornam mais capazes, mantendo interfaces amigáveis ao usuário • A pesquisa sugere que as abordagens atuais de filtragem de conteúdo podem precisar de reformulações fundamentais, em vez de melhorias incrementais
As técnicas de ataque dependem de prompts cuidadosamente elaborados que manipulam a compreensão dos modelos sobre contexto e limites de segurança. Em vez de solicitar conteúdo explícito diretamente, os métodos utilizam linguagem indireta e enquadramento de cenários para guiar os modelos à geração de material proibido.
Os pesquisadores descobriram que tanto o GPT-4o quanto o Gemini podiam ser enganados para produzir imagens explícitas por meio de prompts que inicialmente parecem inofensivos, mas que gradualmente deslocam a interpretação do modelo sobre o que é conteúdo aceitável. Essas técnicas funcionam porque exploram a forma como os modelos processam instruções em linguagem natural, em vez de atacar vulnerabilidades específicas no código.
Para criadores que trabalham com geração de imagens por IA, essas descobertas reforçam o jogo contínuo de gato e rato entre os sistemas de segurança e os usuários que tentam contorná-los. A pesquisa demonstra que mesmo empresas bem financiadas, com equipes dedicadas à segurança, têm dificuldade em criar filtros de conteúdo infalíveis.
Os métodos de contorno funcionam em diferentes arquiteturas de modelos, sugerindo que o problema decorre de desafios fundamentais no alinhamento de IA, e não de questões específicas de implementação. Isso significa que vulnerabilidades semelhantes provavelmente existem em outros sistemas de IA, incluindo os usados para geração de imagens e criação de conteúdo.
De acordo com o Ars Technica, tanto a OpenAI quanto o Google estão cientes das descobertas da pesquisa e estão trabalhando em medidas de segurança aprimoradas. No entanto, as empresas não forneceram cronogramas específicos para corrigir as vulnerabilidades identificadas.
A pesquisa destaca um desafio mais amplo enfrentado pelos desenvolvedores de IA: equilibrar a capacidade do modelo com as restrições de segurança. À medida que os modelos se tornam mais sofisticados na compreensão de instruções com nuances, eles também se tornam mais suscetíveis a tentativas sofisticadas de manipulação.
Para criadores que utilizam ferramentas de IA, esta pesquisa serve como um lembrete de que os filtros de segurança são imperfeitos e estão em constante evolução. Embora esses sistemas geralmente funcionem conforme o esperado para casos de uso legítimos, eles representam uma área de desenvolvimento contínuo, e não problemas resolvidos. Compreender essas limitações ajuda a informar melhores práticas ao trabalhar com conteúdo gerado por IA e ao escolher as ferramentas de IA adequadas para diferentes projetos criativos.
As descobertas também sugerem que as futuras abordagens de segurança em IA podem precisar ir além da simples filtragem de conteúdo, em direção a uma compreensão mais sofisticada da intenção e do contexto do usuário. Isso pode significar tempos de resposta mais longos e saídas mais conservadoras, à medida que as empresas priorizam a segurança em detrimento da velocidade e da flexibilidade.
