AI 도구·모델
OpenAI, 지난달 AI 안전 대비팀 조용히 해체
Theo Okafor· 워크플로·도구 칼럼니스트·
Theo는 AI 뉴스를 오늘 밤 바로 시도해볼 수 있는 것들로 바꿔 드립니다.
Theo는 AI 뉴스를 오늘 밤 바로 시도해볼 수 있는 것들로 바꿔 드립니다.
컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
Financial Times에 따르면, OpenAI가 지난달 말 대비팀을 해체했습니다. 이 팀은 자사 모델이 심각한 위험을 초래하는지 평가하고 이를 억제할 방안을 마련하는 역할을 담당했습니다.
치명적 모델 위험을 평가하던 OpenAI의 대비팀이 Financial Times에 따르면 지난달 말 해체되었습니다.
The Verge 보도에 따르면 해당 업무의 책임은 다른 팀들로 흡수될 예정이지만, OpenAI는 어떤 팀이 어떤 기능을 맡게 되는지 공개적으로 밝히지 않았습니다. 이러한 불투명성은 중요한 문제입니다. 대비팀은 프런티어 모델이 출시되기 전에 최악의 시나리오—모델이 외부 시스템을 자율적으로 침해할 가능성을 포함하여—에 대해 스트레스 테스트를 수행하도록 특별히 설립된 조직이었기 때문입니다.
대비팀은 연구와 배포 사이에 위치하며, OpenAI의 가장 강력한 모델들을 대상으로 공개 출시 전에 치명적 실패 유형을 식별하기 위한 구조화된 평가를 수행했습니다. 특정 모델이 생물학적 무기 제조를 지원하거나 인터넷에서 자율적으로 유해한 행동을 취할 수 있는지 여부를 묻는 임무를 가진 전담 레드팀 유닛이라고 생각하면 됩니다. 이는 가상의 시나리오가 아니라 팀의 실제 평가 범주였습니다.
AI 크리에이터 입장에서 이는 오늘 아침 입력한 프롬프트와는 몇 단계 떨어진 이야기처럼 보일 수 있습니다. 하지만 여러분이 렌더링하거나, 업스케일하거나, 캐릭터 레퍼런스를 일괄 생성하는 데 사용하는 모델들은 대비팀이 평가하던 바로 그 프런티어 시스템입니다. 명확한 책임자 없이 평가 기능이 여러 팀에 분산될 경우, 위험한 기능이 출시되기 전에 누가 이를 포착하는지에 대한 답을 찾기가 진정으로 어려워집니다.
이번 해체는 또한 복잡한 시기에 이루어졌습니다. OpenAI는 지난 한 해 동안 안전 중심 연구자들의 잇따른 이탈을 겪었으며, 올해 초에는 비영리에서 영리 구조로 전환했습니다. 이 전환은 책임성을 약화시킨다고 주장한 전직 직원들로부터 비판을 받았습니다. 업무가 명목상 다른 곳에서 계속된다 하더라도 전담 안전 평가팀을 없애는 것은 비평가들이 면밀히 추적해온 패턴에 부합합니다.
대비팀의 범위에는 에이전틱 위험—모델이 잠재적으로 유해한 행동을 포함하여 다단계 자율 행동을 취하는 시나리오—이 포함되어 있었습니다. 이는 더 이상 추상적인 우려가 아닙니다. 에이전틱 워크플로우는 크리에이터들의 작업 방식에서 점점 더 큰 비중을 차지하고 있습니다. 레퍼런스를 탐색하고, 코드를 실행하고, 파일을 관리하거나, 단계별 인간 승인 없이 작업을 연결하는 모델들이 그 예입니다. 파이프라인이 자율적일수록 해당 모델의 기반 안전 평가가 더욱 중요해집니다.
OpenAI의 API 위에 에이전틱 설정을 구축하고 있다면—에셋 관리, 변형 생성, 또는 외부 서비스와의 상호작용을 위해 GPT-4o 호출을 연결하는 경우—OpenAI 내부에서 해당 기능의 실패 유형을 엄격하게 평가하는 주체가 한 달 전보다 불분명해졌습니다. 이것이 모델이 갑자기 안전하지 않다는 의미는 아니지만, 문제가 여러분에게 도달하기 전에 이를 포착하는 제도적 구조가 변화했다는 것을 의미합니다.
더 넓은 AI 안전 상황을 주시해온 크리에이터들에게는, 업계 다른 곳에서 발생한 최근 사례들이 전담 평가가 왜 중요한지를 잘 보여줍니다. Grok 이미지 안전 실패는 가드레일 평가가 실제 공격 벡터를 놓쳤을 때 어떤 일이 발생하는지를 보여주는 단적인 사례입니다.
OpenAI는 대비 업무가 어떻게 계속될지에 대한 구체적인 내용을 공개적으로 언급하지 않았습니다. 그때까지 솔직한 평가는 이렇습니다. 기능은 어떤 형태로든 존재하지만, 그것을 담당하던 전담팀은 더 이상 존재하지 않습니다.
