Anthropic CEO ダリオ・アモデイ、AI開発の減速とサードパーティによる安全性監査を求める

Anthropic CEOのダリオ・アモデイは、フロンティアAI開発の減速を公式に求め、Claudeを開発したラボとしては重大な構造的譲歩となる提案を発表した。METRのような独立した評価機関がAnthropicのモデルに直接アクセスし、同社の安全性へのコミットメントを検証できるようにするというものだ。

主なポイント

• Anthropic CEOのダリオ・アモデイは、主要ラボ全体でAI能力開発の速度を落とす「フロンティアのペース調整」と呼ぶ正式な提案を発表した。
• この計画には、サードパーティ組織、具体的にはMETRを名指しして、Anthropicのモデルへのアクセスを与え、安全性慣行の遵守を監査することが含まれる。
• アモデイの3段階フレームワークは、トップクラスのAI CEOがモデルリリースに外部的な説明責任を課すための、最も詳細な公式提案だ。
• この動きは、規制当局からの圧力とAI安全性の主張に対する社会的懐疑論がともに高まる中で行われた。
• AIアートクリエイターにとって、外部安全性監査は彼らが依存するモデルにおいてどの機能が制限または遅延されるかに直接影響する可能性がある。

今週発表されたアモデイのエッセイは、同社が「フロンティアのペース調整」と呼ぶ3段階の計画を概説している。この表現は意図的なものだ。AI開発を停止せよという呼びかけではなく、安全性インフラの成熟度に合わせて速度を同期させるというものだ。Anthropicは最も安全性を重視するラボの一つであると同時に、最も商業的に積極的なラボの一つでもあるため、この区別は重要だ。Claudeはエンタープライズ市場においてOpenAIのGPT-4oやGoogleのGeminiと直接競合している。

Anthropicのモデルへのサードパーティアクセスが実際に意味すること

METR——危険な自律的能力についてAIモデルを評価する非営利団体——への具体的なコミットメントは、アモデイの提案の中で最も具体的な要素だ。METRへのアクセスとは、Anthropic自身のレッドチームではなく、独立した研究者がClaudeモデルの展開前または展開中に、定められた安全性の閾値を満たしているかどうかを評価することを意味する。これは、現在ほとんどのラボが公開している内部評価とは異なる基準だ。

ClaudeのAPIを使ってワークフローを構築しているクリエイターや、内部でClaudeを動かすツールを使用しているクリエイターにとって、これは実際の波及効果をもたらす。METRがある機能の安全性が不十分だと指摘した場合、Anthropicはそれを制限または遅延させる義務を負うことになる。これは、新しいマルチモーダル機能のロールアウトの遅延、より厳しい出力フィルター、あるいは同じコミットメントをしていない競合他社には適用されない機能制限を意味する可能性がある。

「AIにブレーキをかける時が来た。」

— Dario Amodei、Anthropic CEO

歴史的な類似例は注目に値する。2023年にStability AIが無制限の画像生成と正式な安全性プロセスの欠如をめぐる圧力の高まりに直面したとき、外部的な説明責任メカニズムが一切なかったことで、同社が信頼性をもって自己規制することはほぼ不可能だった。これが、その後の幹部の離脱と評判の失墜につながった。アモデイは事実上、同様の危機がそれを強制する前に、Stabilityが持てなかった説明責任を制度化しようとしている。

影響力の問題：実際に誰がこれを執行するのか？

この提案は自発的なものだ。アモデイは規制上の合意や拘束力のある業界標準を発表しているわけではなく、エッセイを発表し、希望する監査機関を名指ししているにすぎない。執行メカニズムは評判に基づくものだ。Anthropicが自ら定めたフレームワークを遵守しなければ、METRや外部の観察者が公に指摘できる。それは意味のある圧力だが、法的義務とは異なる。

これは、どのAI画像・動画生成モデルが制限なしのままで、どれが機能のロールバックに直面するかを追跡している人にとって重要だ。同様のフレームワークを採用しない——そして採用する意向を示していない主要ラボが複数ある——ラボは同等の制約を受けない。この競争上の非対称性により、Anthropicは新しい生成機能においてより慎重に動く一方で、競合他社がより速く製品を出荷する可能性がある。

今年初めに発表されたHugging Faceの安全性サブセット研究は、ターゲットを絞った安全性フィルターが、トピック領域全体を過剰に拒否することなく、特定の有害な出力をブロックするのに十分な精度を持てることを示した。これは、この種の監査された抑制のための技術的ツールが改善されていることを示唆している。問題は、業界の商業的インセンティブが、アモデイが提案するペースでラボがそれらを使用することを許容するかどうかだ。

どのモデルを基盤として構築するかを評価しているクリエイターのために、Charmlooopのモデルカタログはリアルタイムで機能とアクセスの変更を追跡している。アモデイの提案に実効性があるかどうかの次の具体的な指標は、METRが何らかの調査結果を公表するかどうか、そしてAnthropicのリリーススケジュールがその結果として目に見えて変化するかどうかだ。