Grok, 어린 시절 사진으로 CSAM 생성에 악용돼 — AI 이미지 안전 실패 드러나

한 여성이 계부가 xAI의 Grok을 이용해 자신의 어린 시절 사진을 아동 성착취물(CSAM)로 변환했다고 공개적으로 주장했다. TechCrunch 보도에 따르면, 이는 주류 AI 이미지 도구가 실존 인물의 외모를 이용해 CSAM을 생성하는 데 악용된 사례 중 가장 명확하게 기록된 것 중 하나다.

핵심 요약

• 한 여성이 xAI의 Grok이 실제 어린 시절 사진을 음란 이미지로 변환하는 데 사용됐다고 주장하며, 주류 AI 플랫폼이 연루된 CSAM 생성 사례로 기록됐다.
• 해당 여성은 AI 도구가 「일상적인 삶을 아동 성착취로 바꾸고 있다」고 표현했다.
• 이 사건은 텍스트-이미지 생성뿐 아니라 이미지 변환 기능도 콘텐츠 필터를 우회하는 데 악용될 수 있음을 보여준다.
• Grok의 안전 필터가 어떻게 우회됐는지에 대한 독립적인 기술 분석은 아직 발표되지 않았다.
• 이번 사건은 AI 이미지 플랫폼이 텍스트-이미지 진입점뿐 아니라 변환 및 인페인팅 파이프라인도 감사해야 한다는 압박을 가중시킨다.

이미지-이미지 파이프라인이 공격 표면이 된 경위

이번 주장의 핵심은 이미지 변환, 즉 기존 사진을 Grok에 입력해 음란한 결과물을 생성하도록 유도하는 방식이며, 처음부터 이미지를 생성하는 것과는 다르다. 이 차이는 중요하다. AI 이미지 도구에 대한 공개적인 안전 논의는 대부분 텍스트-이미지 프롬프트에 집중되어 있지만, 이미지-이미지 및 인페인팅 파이프라인은 잠재적으로 더 낮은 장벽에서 동일한 위험을 내포한다. 원본 자료에 이미 실존 인물의 외모가 담겨 있고, 모델이 해야 할 일은 단순히 이를 수정하는 것이기 때문이다.

xAI는 주장된 우회 방법이나 이미지 변환 요청에 대해 Grok이 갖추고 있던 안전 조치에 대해 공개적으로 밝히지 않았다. 업로드된 사진 변환에 대해 Grok의 모더레이션 파이프라인이 텍스트 전용 생성 프롬프트와 동일한 수준의 검토를 적용하는지 여부는 독립적으로 테스트되거나 공개된 바 없다.

AI 플랫폼이 해결하지 못한 출처 문제

이 사건은 업계 전반이 AI 생성 이미지에 책임을 부여하는 방법을 논의하는 바로 그 시점에 등장했다. Apple의 iOS 27 베타에서는 iPhone 사진에 촬영 시점의 출처 메타데이터를 삽입하는 코드가 발견됐으며, Claude의 C2PA 워터마킹 도입에 대한 이전 보도에서는 보이지 않는 메타데이터가 AI 결과물의 관리 연속성을 최소한 확립할 수 있음을 보여줬다. 그러나 어느 방식도 악의적인 행위자가 유해한 이미지를 생성하는 것을 직접적으로 막지는 못한다. 이는 추론 시점에 콘텐츠를 차단하는 것이 아니라, 사후에 법의학적 흔적을 남기는 것이다.

AI 아트 창작자들에게는 이 같은 사건으로 인한 정책적 파장이 더 즉각적인 우려 사항이다. 규제 또는 여론의 압박을 받는 플랫폼은 생성 제어를 전반적으로 강화하는 경향이 있어, 합법적인 창작 프롬프트에 대한 오탐률이 높아지고, 스타일 카테고리가 제한되거나, 이미지 업로드 워크플로에 마찰이 추가된다. 스타일 전환, 캐릭터 일관성, 참조 기반 생성을 위해 이미지-이미지 기능에 의존하는 창작자들이 플랫폼이 변환 파이프라인을 제한하는 방식으로 남용에 대응할 때 가장 직접적인 영향을 받는다.

이 사건이 플랫폼 책임에 시사하는 바

해당 여성의 표현 — AI 도구가 「일상적인 삶을 아동 성착취로 바꾸고 있다」 — 은 딥페이크 영상이나 합성 얼굴 생성과는 다른 특정 위협 모델을 가리킨다. 원본 이미지는 평범하고, 변환 자체가 피해다. 이는 탐지를 더 어렵게 만드는데, 결과물만이 학대의 증거를 담고 있으며 입력된 사진 자체는 무해하기 때문이다.

대규모로 AI 이미지 생성을 제공하는 플랫폼은 모든 이미지-이미지 요청을 단순한 스타일 작업이 아닌 실존 인물의 잠재적 변환으로 취급하는 모더레이션 아키텍처가 필요하다. 이는 프롬프트뿐 아니라 결과물에 대한 분류기 적용을 의미한다.

이 사건과 관련된 기소나 법적 결과는 아직 보고되지 않았으며, TechCrunch의 보도는 해당 여성의 주장에 의존하고 있다. Grok의 필터가 어떻게 우회됐는지에 대한 기술적 세부 사항은 — 실제로 우회됐다면 — 아직 확인되지 않았다. 확인된 것은, 널리 사용되는 주류 AI 이미지 플랫폼이 이제 CSAM 주장의 중심에 서게 됐으며, 주장된 피해가 발생한 곳은 텍스트 프롬프트 입력창이 아닌 이미지 변환 파이프라인이라는 사실이다.