Metaが政治家を標的にしたディープフェイク・ヌード化アプリの広告を配信 | Charmloop

Metaの広告プラットフォームが、実在する女性政治家の非合意ヌードディープフェイクを生成すると明示したアプリの有料プロモーションを配信していた――少なくとも1件の広告には、現職の米国政治家と思われる人物を描写したポルノ動画が含まれていた。

主なポイント

Metaの広告システムが、実名の女性政治家のヌードディープフェイクを作成する機能を明示的に宣伝するアプリの広告を承認・配信した。
Ars Technicaによると、少なくとも1件の広告に、実在する米国政治家に酷似したディープフェイクを使用したポルノ動画が含まれていた。
この事案は、コンテンツモデレーションの例外的ケースではなく、Metaの広告審査インフラの根本的な失敗を示している。
AIが生成する非合意性的画像（NCII）は、米国の多くの州および複数の国で違法化が進んでおり、そうした広告を掲載するプラットフォームの法的リスクは高まり続けている。
AI画像クリエイターにとって、この事案はポリシー環境を一層厳しくするシグナルだ――今後数か月で、主要な生成プラットフォームにおける本人確認および肖像使用に関する制限が強化されると予想される。

広告がMetaの審査システムを通過した経緯

Ars Technicaによると、これらの広告は決して巧妙に隠されたものではなかった――機能を明示的に名指しし、少なくとも1件はポルノディープフェイクでそれを実演していた。つまり、広告が公開される前にポリシー違反を検出するはずのMetaの自動広告審査が、コンテンツ検出の最も基本的なレベルで失敗したことを意味する。アプリは自らの機能を隠していなかったのだ。

Metaには、非合意性的画像を促進する製品の広告を禁止するポリシーが存在する。それにもかかわらずこれらの広告が審査を通過したという事実は、文書化されたポリシーと執行インフラの間に乖離があることを示している――画像生成の品質が向上し、説得力のあるディープフェイクの制作コストがゼロに近づくにつれ、その乖離はより深刻な結果をもたらす。

NCIIの執行をめぐる広範な問題

これは孤立した事案ではない。今年初めのGrok CSAMの事案――xAIの画像ツールが子どもの写真を性的に描写するために使用された――は、専用の生成プラットフォームでさえAIの画像安全ガードレールが壊滅的に失敗しうることを示した。Metaの状況はそれよりも深刻とも言える。失敗が広告配信レイヤーで起きたということは、プラットフォームがそのツールへのアクセスを拡大するために報酬を受け取っていたことを意味するからだ。

立法面では、状況が急速に変化している。米国連邦のDEFIANCE法および各州法のパッチワークがAI生成NCIIの配布を犯罪化しており、EUのAI法はそうしたツールをホストまたは宣伝するプラットフォームに義務を課している。実名の個人のディープフェイク・ヌード化を宣伝するアプリの広告を配信することは、複数の法域において、もはや利用規約の問題にとどまらない。

AI画像プラットフォームとクリエイターへの示唆

AI画像生成に携わるすべての人――キャラクターを制作する場合でも、ポートレートを生成する場合でも、肖像ベースのプロンプトを試している場合でも――こうした事案による規制の反動は、悪意ある行為者だけでなく業界全体に波及する傾向がある。Metaのようなハイプロファイルなプラットフォームがヌード化アプリの広告を配信していたことが発覚すると、立法者や他のプラットフォームの反応は通常、本人確認と肖像使用のルールを広範に強化することだ。

実務的には、注視すべき点がいくつかある。現在、柔軟な顔スワップや肖像マッチング機能を許可しているプラットフォームは、追加の同意チェックボックス、実名個人に対するより厳格なプロンプトフィルタリング、あるいは特定機能の完全削除といった形で摩擦を加える可能性がある。プロンプトで実在の人物を実名で参照できるツールを使用している場合は、現在のワークフローを今すぐ記録しておくべきだ――プラットフォームがコンプライアンスを急いで示そうとする際、そうした機能が最初に削除される。

より本質的な教訓は、インフラの乖離に関するものだ。ディープフェイク・ヌード化アプリは新しいものではないが、その品質は、実在の人物に対して大規模に悪用できるほど説得力のある出力が可能なレベルを超えた。その品質の飛躍――AI生成画像をクリエイティブな作業においてより有用にするものと同じ飛躍――が、この種の被害をより深刻にしている要因でもある。規制当局とプラットフォームは追いつこうとしており、今後12か月のポリシー環境はそれを反映したものになるだろう。

Metaは報道時点で、当該広告に関する公式声明を発表していなかった。問題のアプリはArs Technicaの報道では名指しされていない。