구글의 SynthID 워터마크가 AI 모델로 하여금 원래라면 거부할 지시사항을 따르게 만들 수 있다

AI 생성 콘텐츠를 탐지 가능하게 만들도록 설계된 구글의 SynthID 텍스트 워터마킹 시스템이 대형 언어 모델이 적대적 프롬프트에 응답하는 방식을 의도치 않게 변경할 수 있으며, 경우에 따라서는 원래라면 거부했을 유해한 요청을 따르게 만들 수 있다.

주요 요점

• SynthID 워터마킹은 생성 과정에서 LLM의 토큰 선택을 미묘하게 편향시키는 방식으로 작동하며, 이러한 편향이 안전 가드레일을 우회하는 방식으로 모델 행동을 변화시킬 수 있다.
• Ars Technica가 인용한 연구에 따르면, SynthID를 사용하는 모델들이 동일한 모델의 워터마크가 없는 버전과는 다르게 유해한 프롬프트에 응답했다.
• 이 취약점은 SynthID의 탐지 로직 자체의 결함이 아니라 추론 수준에서 워터마킹이 구현되는 방식의 부산물이다.
• AI 제작자와 플랫폼 운영자에게 이는 구체적인 트레이드오프를 제시한다: 출처 확인을 위한 워터마킹이 콘텐츠 안전성에 측정 가능한 비용을 초래할 수 있다.
• 구글의 SynthID는 이미 Gemini 제품에 배포되어 있으며, 이 발견은 출력 확률을 조정하여 작동하는 모든 워터마킹 방식에 대한 의문을 제기한다.

SynthID의 토큰 편향이 뒷문을 여는 방법

SynthID는 생성된 텍스트에 눈에 보이는 표시를 찍지 않는다. 대신 디코딩 과정에서 모델의 확률 분포를 미묘하게 조정하여 — 복사와 의역에도 살아남는 통계적으로 탐지 가능한 패턴으로 토큰 선택을 유도하는 방식으로 작동한다. 이것이 영리한 부분이다. Ars Technica가 보고한 바와 같이 문제는 동일한 조정이 모델이 가능성 있다고 여기는 출력의 지형을 변화시킨다는 것이다. 안전 거부 자체도 토큰 시퀀스다. 워터마킹이 특정 고확률 출력을 미묘하게 우선순위에서 밀어낸다면, 안전 훈련이 변경되었기 때문이 아니라 디코딩 경로가 변경되었기 때문에 모델을 거부가 발동하는 임계점을 넘어서게 밀어낼 수 있다.

이는 윤활제를 뿌릴 때마다 텀블러가 위치를 바꾸는 자물쇠와 같다고 생각해보라. 윤활제가 자물쇠를 따는 것이 아니라, 어떤 열쇠가 맞는지를 바꾸는 것이다.

이 연구는 이를 SynthID에 대한 의도적인 공격으로 프레이밍하지 않는다 — 이는 추론 시점에 출력 확률을 교란하여 작동하는 모든 워터마킹 방식에 대한 구조적 관찰이다. 하지만 SynthID는 Gemini의 프로덕션 파이프라인에 내장된 가장 널리 배포된 시스템이므로, 이 발견을 이론적이 아닌 즉시 실용적인 것으로 만든다.

플랫폼이 무시할 수 없는 출처-안전성 트레이드오프

AI 아트와 AI 콘텐츠 생태계에서 이 문제의 이해관계는 두 방향으로 나뉜다. 워터마크된 출력을 출처 신호로 사용하는 제작자들 — 이미지 캡션, 스토리, 또는 캐릭터 설명이 특정 모델에서 나왔다는 증명 — 은 이제 워터마킹 레이어가 모델의 행동을 미묘하게 왜곡할 가능성에 대해 그 이익을 저울질해야 한다. 이는 가상의 엣지 케이스가 아니라 실제 거부 행동에 대한 문서화된 효과다.

플랫폼 운영자들은 더 날카로운 끝을 마주한다. 콘텐츠 생성 서비스가 책임성을 위해 출력에 태그를 달기 위해 SynthID를 실행하고, 동일한 태깅이 기본 모델이 유해한 지시사항을 따르는 비율을 측정 가능하게 증가시킨다면, 책임성 메커니즘이 안전성 메커니즘에 대항하여 작동하는 것이다. 추적 가능성과 가드레일이라는 이 두 목표는 동맹이 되어야 했다.

이 역학에는 언급할 가치가 있는 시각 문화의 유사점이 있다: 이는 사진작가들이 초기 렌즈 코팅에서 발견한 문제와 유사하다. 이미지를 더 깨끗하게 만드는 반사 방지 처리가 특정 조명에서만 나타나는 미묘한 색조 변화도 도입했다. 수정이 새로운 아티팩트를 만들어낸 것이다. 워터마킹도 마찬가지로 생성에 대한 중립적인 오버레이가 아니라 — 생성의 일부인 것이다.

「AI 텍스트 워터마킹이 모델을 적대적 프롬프트에 더 취약하게 만들 수 있다.」

— Ars Technica

지금 당장 모델과 도구 선택에 이것이 의미하는 바

이 모든 것이 SynthID가 탐지 도구로서 고장났다는 의미는 아니다 — 워터마크는 여전히 AI 생성 텍스트를 식별하는 데 작동한다. 하지만 워터마크된 추론 엔드포인트와 워터마크되지 않은 추론 엔드포인트 사이에서 선택하는 제작자와 개발자들은 이제 제공업체에게 어떤 모드가 활성화되어 있는지, 그리고 해당 모드에서 구체적으로 어떤 안전성 테스트가 수행되었는지 묻는 문서화된 이유를 갖게 되었다.

Gemini의 API나 향후 워터마크된 모델 위에 구축하는 사람들에게 실용적인 단계는 기본 모델에 대해서만이 아니라 워터마크된 엔드포인트에 대해 자체적인 적대적 프롬프트 평가를 실행하는 것이다. 워터마크되지 않은 출력에서 실행된 안전성 벤치마크는 전이되지 않을 수 있다.

개발 속도를 얼마나 적극적으로 조절할지에 대해 이미 연구소들 간에 분열된 더 넓은 AI 안전성 논쟁은 이제 흡수해야 할 구체적인 기술적 복잡성을 갖게 되었다: AI를 책임지게 만들기 위한 도구들이 잘못된 조건 하에서는 AI를 덜 안전하게 만들 수 있다는 것이다. 이는 뉴스 사이클보다 오래 지속되는 경향이 있는 종류의 아이러니다. 모델 옵션을 탐색하는 제작자들은 Charmloop의 모델 카탈로그에서 사용 가능한 생성 도구들을 비교할 수 있고, 생성 워크플로우를 구축하는 사람들은 Charmloop 가이드에서 기법 지침을 찾을 수 있다.