Grok CSAM訴訟：xAIは7,000枚の画像が生成される中、当局に報告したのはプロンプト1件のみと主張される

xAIに対して提起された連邦訴訟は、同社のGrok AIモデルのユーザーが継娘の児童性的虐待画像を約7,000枚生成し、虐待が続く中でxAIが全米行方不明・被搾取児童センター（NCMEC）に報告したのは集団レイプに関するプロンプト1件のみだったと申し立てている。

主なポイント

• 訴訟は、Grokのユーザーが継娘のCSAM画像を約7,000枚生成した後に自死し、xAIがNCMECに報告したのはプロンプト1件のみだったと主張している。
• Ars Technicaが訴訟提起を最初に報じたところによれば、他の少女たちもGrokが生成したCSAMをめぐってXに対し別途訴訟を起こしている。
• 本件の核心は、安全システムが存在するにもかかわらずモデルが大規模なCSAM生成に使用された場合、AIプラットフォームが法的責任を負うかどうかという点にある。
• xAIは訴状で主張されている具体的な報告件数を公式に認めていない。
• 一連の訴訟は、AIプロバイダーに対し最低限のコンプライアンスではなく、積極的かつ包括的な虐待報告を求める法的圧力が強まっていることを示している。

Grokの安全対応について訴状が主張すること

Ars Technicaが報じた訴状によれば、ユーザーは虐待がエスカレートして自死するまでの長期間にわたり、数百件のプロンプトを入力していた。訴状は、CSAMに関する通報の連邦指定窓口であるNCMECへのxAIの報告がプロンプト1件のみにとどまり、申し立てられた虐待生成の大部分が未報告・未調査のままだったと主張している。

「PROTECT Our Children Act」に基づく連邦法は、電子サービスプロバイダーがCSAMの存在を認識した場合にNCMECへの報告を義務付けている。訴訟の核心的な主張は、xAIがその活動を認識していた範囲が、単一の報告が示す範囲をはるかに超えていたというものだ。xAIは訴状に記載された具体的な報告件数を公式に認めも否定もしておらず、訴訟は継続中である。

Grokを所有・配布するプラットフォームであるXに対しても、追加の被害者から別途訴訟が提起されており、原告らはXが法執行機関に協力するのではなく児童性犯罪者を保護していると非難している。

AIイメージツールが解決できていない規模の問題

7,000枚という数字こそが、このケースを法的・技術的に重要なものにしている。不適切なプロンプト1件は安全上のインシデントに過ぎないが、長期間のセッションにわたって生成された数千枚の画像は、安全分類器と報告パイプラインが原則として検出・フラグ付けすべきパターンである。訴訟は暗黙のうちに、Grokの安全アーキテクチャが限界的な場面だけでなく、大規模な場面で失敗したと主張している。

AIイメージ生成プラットフォーム全般にとって、この枠組みは重要な意味を持つ。規制当局や原告側弁護士は、大量生成を孤立した誤用ではなく組織的な失敗の証拠として扱うようになっている。明らかなプロンプトはブロックしながらも、数千回の生成にわたる反復的・段階的な虐待を許容するモデルは、この法的見解においては適切な安全管理を備えたモデルとは言えない。

このケースは構造的なギャップも浮き彫りにしている。NCMECへの報告義務は技術的にはプロバイダーがCSAMを「認識」した時点で発生するが、フラグ付きプロンプト、分類器のヒット、人間によるレビューのいずれが認識を構成するかは、プラットフォーム間で統一的に定義されていない。Grok訴訟はその定義をより明確な法的輪郭へと押し上げる可能性がある。

xAIへの圧力はGrokの画像機能拡張と同時期に

xAIにとってこのタイミングは都合が悪い。Grokは画像生成機能を積極的に拡張しており、xAIは同モデルを競合他社より制限の少ない代替手段として位置付けてきた。他のモデルのフィルタリングが過剰だと感じたユーザーを引き付けたこのポジショニングが、今や原告側の責任論の中心に据えられている。主張の本質は、制限の緩和が虐待を大規模に可能にする許容的な環境を生み出し、より保守的なシステムであれば途中で阻止できたというものだ。

この主張は今回の特定のケースを超えて共鳴するだろう。クリエイティブな自由を競争軸とするすべてのAIイメージプラットフォームは、同じ根本的な緊張に直面している。コンテンツガードレールを緩めれば柔軟性を求めるクリエイターを引き付けるが、同時に悪用の障壁も下げてしまう。Grok訴訟は、裁判所がその境界線をどこに引くかをめぐる、これまでで最も厳しい試練だ。

さらなる訴訟が予想される。Ars Technicaは追加の被害者がすでに提訴していると報じており、単独の孤立した申し立てではなく、組織的な法的戦略であることが示唆される。xAIがどう対応するか、そして裁判所がモデルによって生成されたCSAMについてプラットフォームの責任を認めるかどうかは、今後何年にもわたってAIイメージ生成業界全体のコンテンツポリシーを形成する先例となるだろう。