OpenAIが先月、AIセーフティ準備チームを静かに解散

Financial Timesの報道によると、OpenAIは先月末に準備チームを解散した。これは、自社モデルが深刻なリスクをもたらすかどうかを評価し、それを封じ込める手段を構築することを任務としていた社内グループの廃止を意味する。

重要なポイント

• OpenAIはFinancial Timesの報道によると、先月末に壊滅的リスクの評価と軽減を担当していた準備チームを解散した。
• チームの職務は他の社内グループに再分配される予定だが、その引き継ぎの具体的な構造は公式には明らかにされていない。
• 準備チームの任務には、モデルが外部システムを自律的にハッキングするといったシナリオが含まれており、これはクリエイターが日常的に使用するますますエージェント的なAIツールに直接関連するリスクだ。
• この動きは、安全性を重視する研究者たちの相次ぐ離脱を受けて、OpenAIの安全文化に対する継続的な監視が行われている中で起きた。
• 組織再編の結果として、現在のモデルの動作やAPIアクセスに変更が加えられるとのアナウンスはない。

The Vergeの報道によると、その業務の責任は他のチームに統合されるとのことだが、OpenAIはどのチームがどの機能を引き継ぐかを公式に詳述していない。この不透明さは重要だ。準備チームはフロンティアモデルを最悪のシナリオ——モデルが外部システムを自律的に侵害する可能性を含む——に対してストレステストを行うために特別に設立されており、それはモデルがリリースされる前に行われていた。

準備チームが実際に行っていたこと

準備チームは研究と展開の間に位置し、OpenAIの最も高性能なモデルに対して構造化された評価を実施し、公開リリース前に壊滅的な障害モードを特定していた。これは、特定のモデルが生物兵器の製造を支援したり、インターネット上で自律的に有害な行動を取ったりできるかどうかを問うことを任務とした、専任のレッドチームユニットと考えればよい。それらは仮定の話ではなく、チームの実際の評価カテゴリーだった。

AIクリエイターにとって、これは今朝入力したプロンプトから数ステップ離れた話だ。しかし、あなたがレンダリングに使い、アップスケールに通し、キャラクターリファレンスのバッチ生成に利用しているモデルは、準備チームが評価していたのと同じフロンティアシステムだ。その評価機能が明確な責任者なしに複数のチームに分散されると、危険な能力がリリース前に誰によって発見されるのかという問いに答えることが、真に難しくなる。

この解散は、緊張した局面でも起きている。OpenAIはこの一年で安全性を重視する研究者たちの相次ぐ離脱を経験しており、同社は今年初めに非営利から営利構造へと転換した——この転換は、説明責任を弱めると主張した元従業員たちから批判を浴びた。専任の安全評価チームを廃止することは、たとえその業務が名目上他の場所で継続されるとしても、批評家たちが注視してきたパターンに合致する。

クリエイターが注目すべきエージェント的側面

準備チームの範囲にはエージェント的リスク——モデルが潜在的に有害なものを含む複数ステップの自律的行動を取るシナリオ——が含まれていた。これはもはや抽象的な懸念ではない。エージェント的ワークフローは、クリエイターの作業方法においてますます重要な位置を占めている。リファレンスを閲覧し、コードを実行し、ファイルを管理し、ステップごとの人間の承認なしにタスクを連鎖させるモデルがその例だ。パイプラインが自律的になればなるほど、そのモデルの基盤となる安全評価の重要性が増す。

OpenAIのAPIの上にエージェント的なセットアップを構築している場合——GPT-4oの呼び出しを連鎖させてアセットを管理したり、バリエーションを生成したり、外部サービスと連携したりしている場合——OpenAI社内で誰がそれらの能力の障害モードを厳密に評価しているのかという問いは、一ヶ月前よりも不明確になっている。それはモデルが突然安全でなくなったということを意味しないが、問題があなたに届く前に発見するための制度的構造が変化したことを意味する。

AIセーフティの全体像を注視してきたクリエイターにとって、業界の他の場所で起きた最近の事例は、専任の評価がなぜ重要かを示している——Grokの画像安全性の失敗は、ガードレール評価が現実世界の攻撃ベクターを見逃したときに何が起きるかの顕著な例だ。

OpenAIは準備業務がどのように継続されるかの具体的な内容についてまだ公式にコメントしていない。それまでの正直な見方はこうだ。機能は何らかの形で存在しているが、それを担っていた専任チームはもう存在しない。