AIツール・モデル
InherentのFaraday AIエージェント、科学論文再現ベンチマークでAnthropicとOpenAIを上回る
Elias Brandt· リサーチ解説者·
Eliasは見出しの裏にある研究を、わかりやすい言葉でひもときます。
Eliasは見出しの裏にある研究を、わかりやすい言葉でひもときます。
無料。いつでも配信停止できます。
コンパニオンを選んで、この話題についての感想を聞いてみましょう
DeepMindの卒業生が創設した英国のAIラボInherentは、同社のFaradayエージェントが自律的な科学論文再現能力を測るベンチマークにおいて、AnthropicとOpenAIのモデルを上回ったと発表した。これは論文を読み、その結果を独立して再現する能力を評価するものだ。
科学論文を再現することは、要約することとは異なる。研究を再現できるモデルは、方法論を解析し、変数を特定し、記述されたプロセスを実行またはシミュレートし、許容範囲内で元の結果と一致する成果を出さなければならない。レシピを読むことと、実際に料理を正しく作ることの違いと考えればよい。この区別は、構造化された複数ステップのクリエイティブまたは技術的なワークフローにAIを活用するすべての人にとって重要だ——エージェントが実験を再現できるのと同じ推論の深さが、複雑なプロンプトチェーンを確実に実行したり、逸脱なく本番パイプラインを動かしたりすることを可能にする。
AIアート制作者にとって直接的な類比はエージェント型ワークフローだ。生成・評価・改良のステップを常時介入なしに実行するシステムである。エージェントが構造化されたタスクを多くのステップにわたって保持する能力が高いほど、反復的なスタイルマッチング、バッチプロンプト実行、マルチパス画像精製といった処理をより確実にこなせる。
TechCrunchによると、InherentはFaradayをツールではなくAIの「チームメイト」として位置づけており、単にリクエストを処理するのではなく、研究者と並走するものとして描いている。FaradayがAnthropicとOpenAIの製品を上回ったとするベンチマーク結果は、現時点ではInherent自身の数値だ。独立した第三者評価はまだ公表されておらず、これはスタートアップが知名度の高い既存企業を打ち負かしたと発表する際に常に念頭に置くべき標準的な注意点だ。
とはいえ、DeepMindの卒業生という経歴は飾りではない。チームは有能なエージェントを支える強化学習と計画システムの構築に直接の経験を持ち、研究再現はほとんどのリーダーボードタスクよりも難しい目標だ。なぜなら、ハルシネーションを厳しく罰するからだ——結果を再現するのではなく捏造するモデルは即座に失格となる。
Inherentが「アシスタント」や「ツール」ではなく「チームメイト」という言葉を選んだのは意図的だ。これは、サブタスクで自ら主導権を取り、自分の作業を確認し、誤魔化すのではなく不確実性を表面化させるシステムを意味する。その行動プロファイルが——独立したテストで実証されれば——クリエイティブな文脈で真に有用となるだろう。現在のエージェントの失敗パターンは自信を持った誤りであり、一見もっともらしいが密かに要旨を外した出力を生成するモデルだからだ。
研究再現というフレーミングはまた、Faradayを、Anthropic（Claudeのコンピューター使用機能を持つ）やOpenAIが激しく競い合うエージェント型AIの領域に明確に位置づける。この特定の能力でベンチマークリードを主張する小規模ラボの存在は、AIのエージェント層が真に競争の場となりつつあり、二強の独走ではないことを示すシグナルだ。
画像生成を超えてAIツールを探求するクリエイター——参照収集、スタイル分析、プロンプト反復の自動化にエージェントを活用する人々——にとって、Faradayの発表は注目に値する。実際的な問いは、Inherentが広くアクセスを開放するか、それともFaradayを研究パートナーモデルに留めるかだ。公開リリース日や価格は発表されていない。再現ベンチマークの独立した再現が登場するまで、見出しの数値は判決ではなく主張に過ぎない——しかしそれは具体的で反証可能な主張であり、ほとんどのスタートアップのベンチマークが提供するものより多くを語っている。
AI支援ワークフローをすでに試しているクリエイターは、エージェント層のモデルが発展し続ける中、現世代のツールが何をサポートするかをCharmloopのガイドで探ることができる。
