DiscordのAIモデレーションのバグ、5月から無害な画像で誤ってユーザーをBANし続けていた

DiscordのAIコンテンツモデレーションシステムが、約2か月にわたって無害な画像を理由にユーザーを誤ってBANし続けていた――AI生成作品を共有するクリエイターにとって、自動フラグ付けがいかに深刻な誤作動を起こしうるかを示す、具体的な事例だ。

主なポイント

• Discordは、AIモデレーションシステムが無害な画像を理由にユーザーを誤ってBANしていたことを認め、問題は少なくとも2026年5月から発生していた。
• TechCrunchによると、Discordのチームが問題を特定して解決する前の1週末だけで、さらに200アカウントがBANされた。
• バグはすでに修正されたが、影響を受けたアカウントは人間によるレビューがエラーを検出する前にBANされていた。
• この事件は、Discordコミュニティで生成画像を共有するAIアートクリエイターにとっての現実的なリスクを浮き彫りにしている。自動システムは、常識的な人間の判断では問題のないコンテンツを誤読する可能性がある。
• Discordは、何が誤検知を引き起こしたのか、また再発防止策についても公式には詳細を明らかにしていない。

2か月間の静かなBAN

Discordのモデレーションインフラは、サーバーを流れる膨大なコンテンツ――1日に数百万枚の画像――を管理するために、自動AIクラシファイアに大きく依存している。そのクラシファイアの一つが誤作動すると、被害は広範囲に、そして静かに広がる。ユーザーはアカウントが停止される前に何の警告も受けなかったと報告されており、多くの人には明確な異議申し立ての手段もなかった。同社はTechCrunchに対し、問題が5月から続いていたことを認めており、誰かがパターンに気づくまでの数週間、アカウントが誤ってBANされていた可能性がある。

週末の急増――短期間での200件のBAN――が、社内での注目を集めるきっかけになったようだ。これは示唆に富む事実だ。バグはおそらく数か月間、低い頻度で存在していたが、件数が無視できないレベルになるまで気づかれなかったのだろう。

AIアートクリエイターが直面する固有のリスク

DiscordでAI生成画像を共有するクリエイター――コミュニティサーバーでのフィードバック、共同プロジェクト、ポートフォリオの公開など――は、この種の障害に不均衡にさらされている。AI生成画像は、人間が作成したコンテンツで訓練されたクラシファイアが誤読しかねない、独特の構図、予期しない照明、様式化された人体表現を生み出すことがある。珍しいポーズのファンタジーキャラクター、様式化されたフィギュアスタディ、あるいは抽象的なジェネラティブアートでさえ、精度の低いモデルを誤作動させる可能性は十分にある。

より根本的な問題は不透明性だ。AIモデレーションシステムが画像にフラグを立てても、クリエイターがBANの原因となったものについて明確な説明を受けることはほとんどない。そのため、行動を修正したり、どの画像が安全に共有できるかを把握したりすることがほぼ不可能になる。文脈を添えてメッセージを送ってくれる人間のモデレーターとは異なり、自動BANは理由なく下される――そしてDiscordの異議申し立てプロセスは、歴史的に遅いことで知られている。

これはコミュニティにとって仮定の懸念ではない。AIアートクリエイターはすでに、プラットフォームごとに大きく異なるコンテンツポリシーを乗り越えなければならず、無害な生成画像とポリシー違反を区別できないモデレーションシステムは、作品をどこでどのように共有するかという問題に、さらなる予測不可能性を加えることになる。

Discordが語ったこと、語らなかったこと

Discordはバグが修正されたことを認めたが、どのような種類の画像が誤検知を引き起こしたか、クラシファイアが何を検出しようとしていたか、週末の200件という数字を超えて合計何アカウントが影響を受けたかについては、公式には開示していない。また、誤ってBANされたアカウントが自動的に復元されたのか、それともユーザーが自ら異議申し立てをする必要があったのかについても、同社は言及していない。

この沈黙は重要だ。クラシファイアが何を誤読していたかがわからなければ、クリエイターは何を投稿しても安全かについて、十分な情報に基づいた判断を下すことができない。バグの修正は、根本的なモデルの障害モードが説明されないままでは、システムへの信頼を回復しない。

自動モデレーションの信頼性問題

この事件は、より広いパターンに当てはまる。AIモデレーションシステムは再現率を最適化するように訓練されている――違反コンテンツをできる限り多く検出すること――が、これは誤検知率を高める傾向がある。Discordの規模では、わずかなエラー率でも数千件の不当なBANに相当する。ファンフィクションコミュニティは、AI検出ツールが人間の書いた作品にフラグを立てるという同様の問題に直面しており、Charmlooopは今年初めにこれを取り上げた。

クリエイターにとっての実際的な結論は明快だ。コンテンツが明らかに無害であっても、Discordをアカウントに現実的なリスクをもたらすプラットフォームとして扱うべきだ。コミュニティのつながり、サーバーのメンバーシップ、クリエイティブなコラボレーションのバックアップをDiscord外に保持しておくことは、被害妄想ではない――プラットフォームがアカウントレベルの結果を委ねるに足るほど自動システムの信頼性を実証できるまでの、基本的なリスク管理だ。