연구자들, 간단한 프롬프트 기법으로 OpenAI·Google 안전 필터 우회 성공

보안 연구자들이 간단한 프롬프트 조작 기법을 사용해 OpenAI의 GPT-4o와 Google의 Gemini 모델에 내장된 안전 필터를 성공적으로 우회했다. 이번 공격은 주요 AI 기업들이 명시적 콘텐츠 생성을 방지하는 방식에 근본적인 취약점이 존재함을 드러냈다.

핵심 요약

• 연구자들은 기본적인 프롬프트 엔지니어링 기법을 사용해 OpenAI의 GPT-4o와 Google의 Gemini 모두에 대한 우회 방법을 성공적으로 시연했다 • 이 공격은 기반 시스템의 기술적 취약점을 악용하는 것이 아니라, 모델이 안전 지침을 해석하는 방식을 조작하는 방식으로 작동한다 • 두 회사의 현재 안전 필터는 명시적 콘텐츠 출력을 방지하도록 특별히 설계되었음에도 불구하고 속아 넘어갈 수 있다 • 이번 연구 결과는 모델이 사용자 친화적 인터페이스를 유지하면서 더욱 강력해짐에 따라 AI 안전 분야에서 지속되는 과제를 부각시킨다 • 연구는 현재의 콘텐츠 필터링 접근 방식이 점진적인 개선이 아닌 근본적인 재설계가 필요할 수 있음을 시사한다

우회 방법의 작동 원리

공격 기법은 모델의 맥락 이해와 안전 경계 인식을 조작하는 정교하게 설계된 프롬프트에 의존한다. 명시적 콘텐츠를 직접 요청하는 대신, 간접적인 언어와 시나리오 구성을 활용해 모델이 금지된 콘텐츠를 생성하도록 유도한다.

연구자들은 GPT-4o와 Gemini 모두 처음에는 무해해 보이지만 점차 모델의 허용 가능한 콘텐츠 해석을 변화시키는 프롬프트를 통해 명시적 이미지를 생성하도록 속일 수 있음을 발견했다. 이 기법은 특정 코드 취약점을 표적으로 삼는 것이 아니라 모델이 자연어 지시를 처리하는 방식을 악용하기 때문에 효과를 발휘한다.

AI 생성 콘텐츠에 대한 시사점

AI 이미지 생성 작업을 하는 크리에이터들에게 이번 연구 결과는 안전 시스템과 이를 우회하려는 사용자 사이의 끊임없는 숨바꼭질이 계속되고 있음을 강조한다. 이 연구는 전담 안전팀을 갖춘 자금력 있는 기업들조차 완벽한 콘텐츠 필터를 만드는 데 어려움을 겪고 있음을 보여준다.

우회 방법이 서로 다른 모델 아키텍처에서도 작동한다는 점은 이 문제가 구현 방식의 특수한 문제가 아니라 AI 정렬의 근본적인 과제에서 비롯됨을 시사한다. 이는 이미지 생성 및 콘텐츠 제작에 사용되는 것을 포함한 다른 AI 시스템에도 유사한 취약점이 존재할 가능성이 높음을 의미한다.

업계 반응 및 향후 조치

Ars Technica에 따르면, OpenAI와 Google 모두 이번 연구 결과를 인지하고 있으며 개선된 안전 조치를 마련하기 위해 노력 중이다. 그러나 두 회사 모두 확인된 취약점 해결을 위한 구체적인 일정은 제시하지 않았다.

이번 연구는 AI 개발자들이 직면한 더 광범위한 과제를 부각시킨다. 바로 모델 성능과 안전 제약 사이의 균형을 맞추는 것이다. 모델이 미묘한 지시를 이해하는 데 더욱 정교해질수록, 정교한 조작 시도에도 더 취약해진다.

AI 도구를 사용하는 크리에이터들에게 이번 연구는 안전 필터가 불완전하며 계속 발전하고 있다는 사실을 상기시켜 준다. 이러한 시스템은 일반적으로 합법적인 사용 사례에서는 의도한 대로 작동하지만, 해결된 문제가 아닌 지속적인 개발 영역을 대표한다. 이러한 한계를 이해하면 AI 생성 콘텐츠 작업 시 더 나은 관행을 수립하고 다양한 창작 프로젝트에 적합한 AI 도구를 선택하는 데 도움이 된다.

이번 연구 결과는 또한 미래의 AI 안전 접근 방식이 단순한 콘텐츠 필터링을 넘어 사용자 의도와 맥락에 대한 보다 정교한 이해로 나아가야 할 필요성을 시사한다. 이는 기업들이 속도와 유연성보다 안전을 우선시함에 따라 응답 시간이 길어지고 출력이 더 보수적으로 변할 수 있음을 의미한다.