Discord의 AI 모더레이션 버그, 5월부터 무해한 이미지로 사용자 부당 차단

Discord의 AI 콘텐츠 모더레이션 시스템이 약 두 달간 무해한 이미지를 이유로 사용자를 부당하게 차단해 왔다 — AI 생성 작품을 공유하는 창작자에게 자동화된 신고 시스템이 얼마나 심각하게 오작동할 수 있는지를 보여주는 구체적인 사례다.

핵심 요약

• Discord는 자사 AI 모더레이션 시스템이 무해한 이미지를 이유로 사용자를 잘못 차단해 왔으며, 해당 문제가 최소 2026년 5월부터 지속됐다고 공식 확인했다.
• TechCrunch에 따르면, Discord 팀이 문제를 파악하고 해결하기 전 단 하루 주말 동안 추가로 200개의 계정이 차단됐다.
• 버그는 현재 수정됐지만, 피해를 입은 계정들은 사람의 검토 없이 차단된 채로 방치됐다.
• 이번 사건은 Discord 커뮤니티에서 생성 이미지를 공유하는 AI 아트 창작자들이 직면한 실질적인 위험을 드러낸다. 자동화 시스템은 어떤 합리적인 기준으로 봐도 문제없는 콘텐츠를 잘못 판단할 수 있다.
• Discord는 무엇이 오탐(false positive)을 유발했는지, 재발 방지를 위해 어떤 조치를 취할 것인지 공개적으로 밝히지 않았다.

두 달간의 조용한 차단

Discord의 모더레이션 인프라는 서버를 통해 흐르는 방대한 콘텐츠 — 하루 수백만 장의 이미지 — 를 관리하기 위해 자동화된 AI 분류기에 크게 의존한다. 그 분류기 중 하나가 오작동하면, 그 피해는 광범위하고 조용하게 퍼질 수 있다. 사용자들은 계정이 정지되기 전 아무런 경고도 받지 못했으며, 많은 이들이 이의를 제기할 명확한 방법조차 찾지 못했다고 전해진다. Discord는 TechCrunch에 해당 문제가 5월부터 지속됐다고 확인했으며, 이는 누군가 패턴을 발견하기까지 수 주 동안 계정이 부당하게 차단됐을 수 있음을 의미한다.

주말에 급증한 200건의 차단이 내부적으로 주목을 받은 계기가 된 것으로 보인다. 이는 시사하는 바가 크다. 버그는 수개월 동안 낮은 빈도로 존재했다가, 그 규모가 무시하기 어려운 수준에 이르러서야 발견됐을 가능성이 높다.

AI 아트 창작자에게 특히 위험한 이유

Discord에서 AI 생성 이미지를 공유하는 창작자들 — 커뮤니티 서버에서 피드백을 구하거나, 협업 프로젝트를 진행하거나, 포트폴리오를 선보이는 경우 — 은 이런 종류의 오류에 불균형적으로 노출되어 있다. AI 생성 이미지는 인간이 만든 콘텐츠로 학습된 분류기가 잘못 해석할 수 있는 독특한 구도, 예상치 못한 조명, 혹은 양식화된 인체 표현을 포함할 수 있다. 특이한 포즈의 판타지 캐릭터, 양식화된 인체 드로잉, 심지어 추상적인 생성 아트도 제대로 보정되지 않은 모델을 충분히 오작동시킬 수 있다.

더 근본적인 문제는 불투명성이다. AI 모더레이션 시스템이 이미지를 신고하면, 창작자는 무엇이 차단을 유발했는지 명확한 설명을 거의 받지 못한다. 이는 행동을 수정하거나 어떤 이미지를 공유해도 안전한지 파악하는 것을 사실상 불가능하게 만든다. 맥락을 담아 메시지를 보낼 수 있는 사람 모더레이터와 달리, 자동화된 차단은 아무런 이유 없이 내려진다 — 그리고 Discord의 이의 제기 절차는 역사적으로 느리기로 악명 높다.

이는 커뮤니티에 있어 가상의 우려가 아니다. AI 아트 창작자들은 이미 플랫폼마다 천차만별인 콘텐츠 정책을 헤쳐나가고 있으며, 무해한 생성 이미지와 정책 위반을 구분하지 못하는 모더레이션 시스템은 작품을 어디서, 어떻게 공유할지에 대한 불확실성을 한 겹 더 얹는다.

Discord가 밝힌 것과 밝히지 않은 것

Discord는 버그가 수정됐다고 확인했지만, 어떤 유형의 이미지가 오탐을 유발했는지, 분류기가 무엇을 탐지하려 했는지, 주말의 200건 외에 총 몇 개의 계정이 영향을 받았는지는 공개적으로 밝히지 않았다. 또한 부당하게 차단된 계정이 자동으로 복구됐는지, 아니면 사용자가 직접 이의를 제기해야 했는지도 언급하지 않았다.

이 침묵은 중요하다. 분류기가 무엇을 잘못 읽었는지 알지 못하면, 창작자들은 무엇을 게시해도 안전한지 정보에 입각한 판단을 내릴 수 없다. 버그를 수정했다고 해서 시스템에 대한 신뢰가 회복되지는 않는다. 기저 모델의 오류 방식이 여전히 설명되지 않은 채로 남아 있다면 더욱 그렇다.

자동화 모더레이션의 신뢰성 문제

이번 사건은 더 넓은 패턴에 부합한다. AI 모더레이션 시스템은 위반 콘텐츠를 최대한 많이 잡아내는 재현율(recall) 최적화를 목표로 학습되며, 이는 오탐률을 높이는 경향이 있다. Discord의 규모에서는 작은 오류율조차 수천 건의 부당 차단으로 이어진다. 팬픽션 커뮤니티도 AI 탐지 도구가 인간이 쓴 글을 신고하는 유사한 문제에 직면해 왔으며, Charmloop이 올해 초 이를 다룬 바 있다.

창작자들에게 실질적인 결론은 명확하다. Discord를 AI 생성 이미지 공유가 콘텐츠가 명백히 무해하더라도 계정에 실질적인 위험을 수반하는 플랫폼으로 인식해야 한다. 커뮤니티 연결, 서버 멤버십, 창작 협업 내역을 Discord 외부에 백업해 두는 것은 편집증이 아니다 — 플랫폼이 계정 수준의 결과를 신뢰할 만큼 자동화 시스템의 신뢰성을 입증하기 전까지는 기본적인 리스크 관리다.