Grok CSAM 소송: xAI, 사용자가 7,000장의 이미지를 생성하는 동안 단 하나의 프롬프트만 신고한 혐의 직면

xAI를 상대로 제기된 연방 소송은 Grok AI 모델 사용자가 의붓딸의 아동 성착취 이미지 약 7,000장을 생성했으며, xAI는 학대가 계속되는 동안 집단 강간 관련 프롬프트 단 한 건만 실종·착취 아동 국가센터(NCMEC)에 신고했다고 주장한다.

핵심 요약

• 소송에 따르면 Grok 사용자가 스스로 목숨을 끊기 전까지 의붓딸의 CSAM 이미지 약 7,000장을 생성했으며, xAI는 NCMEC에 프롬프트 1건만 신고한 혐의를 받고 있다.
• Ars Technica의 최초 보도에 따르면, 추가 피해 소녀들도 Grok로 생성된 CSAM과 관련해 X를 상대로 별도의 소송을 제기했다.
• 이 사건의 핵심은 AI 플랫폼이 안전 시스템을 갖추고 있음에도 모델이 대규모 CSAM 생성에 사용될 경우 법적 책임을 지는지 여부다.
• xAI는 소장에서 주장된 구체적인 신고 수치를 공개적으로 확인하지 않았다.
• 이번 소송들은 AI 제공업체들이 최소한의 법적 의무 이행이 아닌 선제적이고 포괄적인 학대 신고를 입증해야 한다는 법적 압박이 강화되고 있음을 보여준다.

Grok의 안전 대응에 관한 소장의 주장

Ars Technica가 보도한 소장에 따르면, 해당 사용자는 학대가 심화되어 스스로 목숨을 끊기 전까지 장기간에 걸쳐 수백 건의 프롬프트를 입력했다. 소장은 xAI가 CSAM 신고의 연방 지정 창구인 NCMEC에 프롬프트 1건만 신고함으로써 주장된 학대 생성의 압도적 다수가 미신고·미수사 상태로 남겨졌다고 주장한다.

아동 보호법(PROTECT Our Children Act)에 따른 연방법은 전자 서비스 제공업체가 CSAM을 인지했을 때 NCMEC에 신고할 것을 의무화하고 있다. 소송의 핵심 주장은 xAI가 해당 활동을 인지한 범위가 단 한 건의 신고가 시사하는 것보다 훨씬 광범위했다는 것이다. xAI는 소장에 인용된 구체적인 신고 수치를 공개적으로 확인하거나 부인하지 않았으며, 소송은 현재 진행 중이다.

추가 피해자들의 별도 소송도 Grok를 소유·배포하는 플랫폼인 X를 상대로 제기되었으며, 원고들은 X가 법 집행 기관에 협조하는 대신 아동 성범죄자를 보호했다고 주장하고 있다.

AI 이미지 도구가 해결하지 못한 규모의 문제

7,000장이라는 수치가 이 사건을 법적·기술적으로 중요하게 만드는 요소다. 단 하나의 악성 프롬프트는 안전 사고에 해당하지만, 장기간에 걸쳐 생성된 수천 장의 이미지는 안전 분류기와 신고 파이프라인이 원칙적으로 감지하고 표시해야 할 패턴이다. 소송은 Grok의 안전 아키텍처가 경계선에서만이 아니라 규모 면에서 실패했다고 암묵적으로 주장한다.

AI 이미지 생성 플랫폼 전반에 걸쳐 이러한 관점은 중요한 의미를 갖는다. 규제 당국과 원고 측 변호사들은 점점 더 대량 생성을 고립된 오용이 아닌 시스템적 실패의 증거로 취급하고 있다. 명백한 프롬프트는 차단하면서도 수천 건의 생성에 걸쳐 반복적이고 점진적으로 심화되는 학대를 허용하는 모델은, 이 법적 관점에서 볼 때 적절한 안전 통제 장치를 갖춘 모델이 아니다.

이 사건은 구조적 공백도 부각시킨다. NCMEC 신고 의무는 기술적으로 제공업체가 CSAM을 「인지」했을 때 발생하지만, 플래그된 프롬프트, 분류기 감지, 인간 검토 중 무엇이 인지를 구성하는지는 플랫폼마다 일관되게 정의되어 있지 않다. Grok 소송은 그 정의를 더욱 명확한 법적 기준으로 확립하도록 강제할 수 있다.

xAI에 대한 압박, Grok의 이미지 기능 확장과 맞물려

시기적으로 xAI에게 불리한 상황이다. Grok는 이미지 생성 기능을 공격적으로 확장해 왔으며, xAI는 이 모델을 경쟁사보다 덜 제한적인 대안으로 포지셔닝해 왔다. 다른 모델이 너무 많이 필터링된다고 느낀 사용자들을 끌어들인 이 포지셔닝이 이제 원고 측 책임 이론의 핵심이 되었다. 요컨대, 제한 완화가 더 보수적인 시스템이라면 차단했을 규모의 학대를 가능하게 한 허용적 환경을 조성했다는 주장이다.

이 주장은 이번 특정 사건을 넘어 광범위하게 공명할 것이다. 창작의 자유를 경쟁력으로 삼는 모든 AI 이미지 플랫폼은 동일한 근본적 긴장에 직면한다. 느슨한 콘텐츠 가드레일은 유연성을 원하는 창작자를 끌어들이지만, 동시에 오용의 장벽도 낮춘다. Grok 소송은 법원이 그 경계선을 어디에 그을지에 대한 지금까지 가장 날카로운 시험대다.

추가 소송이 예상된다. Ars Technica는 추가 피해자들이 이미 소송을 제기했다고 보도했으며, 이는 단일한 고립된 소장이 아닌 조율된 법적 전략임을 시사한다. xAI가 어떻게 대응하는지, 그리고 법원이 자사 모델로 생성된 CSAM에 대해 플랫폼에 책임을 묻는지 여부는 향후 수년간 AI 이미지 생성 산업 전반의 콘텐츠 정책을 형성할 선례를 남길 것이다.