研究者がシンプルなプロンプト操作でOpenAIとGoogleの安全フィルターを回避

セキュリティ研究者が、直接的なプロンプト操作技術を用いてOpenAIのGPT-4oおよびGoogleのGeminiモデルの安全フィルターの回避に成功した。この攻撃手法は、主要なAIプロバイダーが露骨なコンテンツ生成を防ぐ仕組みにおける根本的な弱点を露わにしている。

主なポイント

• 研究者は、基本的なプロンプトエンジニアリング技術を用いて、OpenAIのGPT-4oとGoogleのGeminiの両方に対する回避手法を実証した • この攻撃は、基盤システムの技術的な脆弱性を突くのではなく、モデルが安全ガイドラインを解釈する方法を操作することで機能する • 両社の現行の安全フィルターは、そのような出力を防ぐために特別に設計されているにもかかわらず、露骨なコンテンツを生成するよう騙される可能性がある • この発見は、モデルがユーザーフレンドリーなインターフェースを維持しながらより高性能になるにつれて、AI安全性における継続的な課題を浮き彫りにしている • この研究は、現在のコンテンツフィルタリングアプローチが段階的な改善ではなく、根本的な再設計を必要とする可能性を示唆している

回避手法の仕組み

この攻撃技術は、モデルのコンテキストと安全境界の理解を操作する、精巧に作られたプロンプトに依存している。露骨なコンテンツを直接要求するのではなく、間接的な言語とシナリオの枠組みを使用して、モデルを禁止されたコンテンツの生成へと誘導する。

研究者は、GPT-4oとGeminiの両方が、最初は無害に見えるが徐々にモデルの許容コンテンツの解釈を変化させるプロンプトを通じて、露骨な画像を生成するよう騙される可能性があることを発見した。これらの技術が機能するのは、特定のコードの脆弱性を標的にするのではなく、モデルが自然言語の指示を処理する方法を悪用しているためだ。

AI生成コンテンツへの影響

AI画像生成を活用するクリエイターにとって、この発見は安全システムとそれを回避しようとするユーザーとの間で続く「いたちごっこ」を改めて示している。この研究は、潤沢な資金と専任の安全チームを持つ企業でさえ、完璧なコンテンツフィルターの構築に苦労していることを示している。

回避手法は異なるモデルアーキテクチャをまたいで機能することから、問題は実装固有の問題ではなく、AIアライメントにおける根本的な課題に起因していることが示唆される。これは、画像生成やコンテンツ制作に使用されるものを含む他のAIシステムにも同様の脆弱性が存在する可能性が高いことを意味する。

業界の対応と今後の展開

Ars Technicaによると、OpenAIとGoogleの両社は研究結果を把握しており、改善された安全対策に取り組んでいる。ただし、両社は特定された脆弱性への対処について具体的なスケジュールを示していない。

この研究は、AIデベロッパーが直面するより広範な課題を浮き彫りにしている。それは、モデルの能力と安全上の制約のバランスを取ることだ。モデルが微妙なニュアンスを持つ指示の理解においてより高度になるにつれ、巧妙な操作の試みに対しても脆弱になっていく。

AIツールを使用するクリエイターにとって、この研究は安全フィルターが不完全であり進化し続けているものであることを改めて認識させてくれる。これらのシステムは一般的に正当なユースケースでは意図通りに機能するが、解決済みの問題ではなく継続的な開発領域を表している。これらの限界を理解することは、AI生成コンテンツを扱う際のより良い実践や、さまざまなクリエイティブプロジェクトに適したAIツールを選択する際の参考になる。

この発見はまた、将来のAI安全アプローチが単純なコンテンツフィルタリングを超え、ユーザーの意図とコンテキストをより高度に理解する方向へ移行する必要があることを示唆している。これは、企業が速度と柔軟性よりも安全性を優先するにつれ、応答時間の長期化とより保守的な出力を意味する可能性がある。