Theo transforma as notícias de IA em coisas para você testar ainda hoje à noite.
Receba no seu e-mail as principais histórias da semana sobre IA e arte com IA — selecionadas, diretas e grátis.
Grátis. Cancele quando quiser.
Escolha um companheiro e veja o que ele acha dessa história
A OpenAI encerrou sua equipe de preparação no final do mês passado, segundo o Financial Times — eliminando o grupo interno cuja função era avaliar se seus modelos representavam riscos graves e desenvolver formas de contê-los.
A equipe de preparação da OpenAI, que avaliava riscos catastróficos de modelos, foi dissolvida no final do mês passado, segundo o Financial Times.
Imagem: The Verge / The Verge AI
The Verge relata que a responsabilidade pelo trabalho está sendo incorporada a outras equipes, embora a OpenAI não tenha detalhado publicamente quais equipes absorvem quais funções. Essa opacidade importa: a equipe de preparação foi especificamente criada para submeter os modelos de fronteira a testes de estresse nos piores cenários possíveis — incluindo a possibilidade de um modelo comprometer autonomamente sistemas externos — antes que esses modelos fossem lançados.
A equipe de preparação ficava entre a pesquisa e a implantação, conduzindo avaliações estruturadas nos modelos mais capazes da OpenAI para identificar modos de falha catastróficos antes do lançamento público. Pense nela como uma unidade dedicada de red team com o mandato de questionar se um determinado modelo poderia, por exemplo, auxiliar na criação de armas biológicas ou realizar ações autônomas prejudiciais na internet. Essas não são formulações hipotéticas — eram as categorias de avaliação reais da equipe.
Para os criadores de IA, isso está alguns passos distante do prompt que você digitou esta manhã. Mas os modelos com os quais você renderiza, faz upscale ou usa para gerar referências de personagens em lote são os mesmos sistemas de fronteira que a equipe de preparação avaliava. Quando essa função de avaliação se dilui entre equipes sem um responsável claro, a questão de quem detecta uma capacidade perigosa antes do lançamento se torna genuinamente mais difícil de responder.
A dissolução também ocorre em um momento delicado. A OpenAI viu uma série de pesquisadores focados em segurança deixarem a empresa ao longo do último ano, e a companhia converteu sua estrutura de organização sem fins lucrativos para uma com fins lucrativos no início deste ano — uma transição que gerou críticas de ex-funcionários que argumentaram que ela enfraqueceu a responsabilização. Remover uma equipe dedicada de avaliação de segurança, mesmo que o trabalho continue nominalmente em outro lugar, se encaixa em um padrão que os críticos têm acompanhado de perto.
O escopo da equipe de preparação incluía riscos agênticos — cenários em que um modelo realiza ações autônomas em múltiplas etapas, incluindo potencialmente ações prejudiciais. Isso não é mais uma preocupação abstrata. Fluxos de trabalho agênticos são cada vez mais parte de como os criadores operam: modelos que navegam por referências, executam código, gerenciam arquivos ou encadeiam tarefas sem aprovação humana passo a passo. Quanto mais autônomo o pipeline, mais importante se torna a avaliação de segurança subjacente desse modelo.
Se você está construindo configurações agênticas sobre as APIs da OpenAI — encadeando chamadas do GPT-4o para gerenciar assets, gerar variações ou interagir com serviços externos — a questão de quem dentro da OpenAI está avaliando rigorosamente essas capacidades em busca de modos de falha é agora menos clara do que era há um mês. Isso não significa que os modelos estejam de repente inseguros, mas significa que a estrutura institucional para detectar problemas antes que eles cheguem até você mudou.
Para os criadores que têm acompanhado o panorama mais amplo de segurança de IA, incidentes recentes em outras partes do setor ilustram por que avaliações dedicadas importam — a falha de segurança de imagens do Grok sendo um exemplo contundente do que acontece quando a avaliação de salvaguardas deixa passar um vetor de ataque do mundo real.
A OpenAI não se manifestou publicamente sobre os detalhes de como o trabalho de preparação continuará. Até que o faça, a leitura honesta é: a função existe de alguma forma, mas a equipe dedicada que a liderava não existe mais.
