출처
이 소식에 대해 이야기 나누기
컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요

Maya는 새 모델이 나올 때마다 직접 벤치마크합니다 — 숫자가 먼저, 과장은 없습니다.
컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
OpenAI가 EU 내 ChatGPT 및 Codex 출력물에 텍스트 워터마킹을 기본으로 활성화했다 — AI 법 준수를 위한 조치이지만, 회사 스스로 이 시스템이 그다지 신뢰할 수 없으며 우회하기 쉽다고 인정하고 있다.
OpenAI의 워터마킹 시스템인 textGrain은 눈에 보이는 태그를 추가하는 방식이 아니라, 단어 선택·구두점·미묘한 어구 변화 등 생성 텍스트의 통계적 패턴에 보이지 않는 신호를 인코딩한다. 탐지 도구가 텍스트를 스캔해 워터마크가 없는 출력물과 동일하게 읽히더라도 AI 생성 가능성이 높다고 표시할 수 있다는 개념이다.
문제는 상당히 심각하다. Ars Technica에 따르면, 이 시스템은 신뢰성이 낮다고 인정되며, 우회하는 데 출력물을 가볍게 패러프레이징하거나 서식을 바꾸거나 다른 도구에 돌리는 것 이상의 정교한 방법이 필요하지 않다. 이는 신호를 제거하려는 동기가 있는 사람에게는 낮은 장벽이다 — 여기에는 AI를 이용해 오해를 불러일으키는 콘텐츠를 생성하는 악의적 행위자도 포함되며, 이는 규제 당국이 가장 우려하는 사용 사례다.
ChatGPT를 창작 워크플로의 일부로 사용하는 AI 아트 창작자와 작가들 — 캡션 초안 작성, 캐릭터 배경 스토리 작성, 프롬프트 변형 생성 등 — 에게 실질적인 일상적 영향은 거의 없다. 워터마크는 보이지 않으며 텍스트의 사용성을 변경하지 않는다. 하지만 EU 기반 사용자들은 이제 자신이 알든 모르든, 원하든 원하지 않든 숨겨진 출처 신호가 담긴 텍스트를 생성하게 된다.
기본 활성화 상태는 명시적으로 EU AI 법에 대한 대응이다. EU AI 법은 범용 AI 시스템 제공자에게 AI 생성 콘텐츠를 탐지 가능한 방식으로 표시하도록 요구한다. OpenAI는 이를 의무화하는 관할권에서만 준수하며 다른 지역으로 요건을 확대하지 않는다. 미국 사용자에게는 변화가 없다.
이 지역적 분리는 국경을 넘어 활동하는 창작자에게 중요하다. EU 기반 창작자가 AI 탐지 검사를 실행하는 플랫폼·출판사·클라이언트에 AI 보조 텍스트를 제출하는 경우, ChatGPT 출력물에는 이제 탐지기가 포착할 수 있는 신호 — 아무리 약하더라도 — 가 담겨 있다. EU 밖에서는 동일한 출력물에 아무런 신호도 없다.
더 넓은 규제 그림은 여전히 분열되어 있다. Charmloop가 보도한 바와 같이, 미국의 실질적인 AI 콘텐츠 규제는 의회에서 교착 상태에 빠져 있어, 현재 EU가 워터마킹 기준의 사실상 규칙 제정자 역할을 하고 있다.
텍스트 워터마킹은 진정으로 어려운 문제다. 이미지 워터마킹 — 메타데이터나 픽셀 수준의 신호가 많은 변환을 거쳐도 살아남을 수 있는 — 과 달리, 텍스트 워터마크는 출력물이 조금이라도 수정되는 순간 저하된다. 가벼운 편집·번역·요약 한 번만으로도 신호가 완전히 제거될 수 있다. OpenAI도 이를 부인하지 않는다.
이는 textGrain을 어색한 위치에 놓는다: 규제 체크박스를 충족하면서도 실제 탐지 능력은 제한적이다. AI 글쓰기 특징을 연구하는 연구자들은 통계적 지문 — Anthropic의 Opus 5.5에서 「dependable」이라는 단어가 인간 글쓰기보다 23배 더 자주 등장하는 것 같은 — 이 설계된 워터마크보다 더 내구성이 있을 수 있다고 밝혔는데, 바로 의도적으로 제거하기가 더 어렵기 때문이다.
Charmloop의 생성기 같은 도구에서 이미지 생성과 함께 ChatGPT를 글쓰기 보조에 활용하는 창작자들에게 실질적인 시사점은 이렇다: 워터마크의 존재 여부를 어떤 것의 신뢰할 수 있는 신호로 취급하지 말라. 기술은 아직 거기에 이르지 못했고, OpenAI도 그렇다고 주장하지 않는다. 변한 것은 기본 설정이지 — 근본적인 역량이 아니다.