AIツール・モデル
Hugging Face、ディープフェイク「脱衣」モデルをほぼ無審査でホスト――報告書が指摘
Charmloop 編集チーム· 編集部·
欧州の非営利団体AI Forensicsの新たな報告書によると、Hugging Faceにホストされている上位9件の画像編集モデルのうち7件が、要求に応じて非合意のヌード画像を生成することが明らかになった――この発見は、同プラットフォームのオープンモデルポリシーを直接的な検証にさらすものだ。
オープンモデルプラットフォームは、非合意ディープフェイクに使用される画像生成ツールのモデレーションを求める圧力が高まっている。
AI Forensicsの報告書は、The Vergeが報じた通り、Hugging Face上で最もダウンロードされている画像編集モデルに焦点を当てたものだ――目立たない埋もれたリポジトリではなく、チャートの最上位に位置するモデルである。研究者たちは、これらのモデルが未成年者を含む実在の人物の写真から衣服を除去するよう設計されたプロンプトに応じることを発見した。報告書によれば、プラットフォームの対応は最小限にとどまっている。
Hugging FaceはAIエコシステムにおいて独自の立場を占めている。世界最大のオープンウェイトモデルハブであると同時に、モデルをローカルで実行したり特定タスク向けにファインチューニングしたりしたい独立系クリエイターにとって重要なインフラでもある。この二重の役割が、コンテンツモデレーションを真に複雑なものにしている。数十万回ダウンロードされたモデルを削除すれば、有害な用途とともに正当なユースケースも損なわれる――しかし公開し続けることは、プラットフォームが事実上、悪用のためのツールを配布していることを意味する。
Midjourney、Adobe Firefly、OpenAIの画像ツールといったクローズドプラットフォームは、推論レイヤーでコンテンツポリシーを適用している。すべての生成リクエストはフィルターを通過する。Hugging Faceにホストされているオープンウェイトモデルはそのような仕組みではない。モデルがダウンロードされた後は、オペレーターが何を許可し何を禁止するかを制御する。プラットフォームが持つ唯一の実質的な手段は、モデルをホストするかどうかという判断だけだ。
それこそがAI Forensicsの報告書が指摘している空白だ。Hugging Faceには、児童性的虐待素材や非合意の親密な画像を生成するよう設計されたモデルを禁止するコンテンツポリシーが存在するが、執行は一貫していないように見える。非営利団体は、問題のあるモデルが隠されていたわけではなく、ダウンロード数によって検索結果の上位に表示されていたことを発見した。
拡散モデルやファインチューンへのアクセスにHugging Faceを利用しているクリエイターにとって、これは実際的な問題だ。プラットフォームへの規制的反発が、公開ホスト可能なモデルへの制限を加速させる可能性があり、それは正当なクリエイティブ作業に利用できるオープンウェイトの選択肢を狭めることになる。EUのAI法や各国レベルのディープフェイク関連法はすでにこの方向に動いており、このような注目度の高い報告書はそのタイムラインを加速させる傾向がある。
Hugging Faceがホストコンテンツをめぐる批判に直面するのはこれが初めてではない――以前の論争はモデルのセキュリティや不正アクセスに関するものだった――しかしAI Forensicsの発見は、理論的なリスクではなく具体的かつ再現可能な被害を記録しているという点で、より鋭いものだ。
クリエイターへの実際的な影響は注視する価値がある。Hugging Faceがより広範な自動フィルタリングや厳格なアップロード要件で対応すれば、その摩擦は有害なモデルだけでなくプラットフォーム上のすべてのモデルに適用される。現在、ローカルワークフロー向けにハブから直接画像生成モデルを取得しているクリエイターは、利用可能な選択肢が減少したり、特定のモデルクラスへのアクセスに新たな認証要件が課されたりする可能性がある。
この報告書はまた、オープンウェイトコミュニティがすでにモデル制限をめぐる業界圧力に対処している時期に発表された。非合意ディープフェイクへの懸念をその議論に加えることで、規制当局は抽象的な安全性の議論とは異なる種類の圧力――具体的な被害を指摘できる根拠――を手にすることになる。
