Swiss AIのApertus 1.5モデル、テキストでGPT-4oを凌駕し、ビジョンでLlama 3に匹敵

Swiss AIは、OpenAIのGPT-4oをいくつかの主要なテキストベースのベンチマークで明らかに上回り、MetaのLlama 3 400Bに匹敵する視覚推論能力を達成するオープンウェイトのマルチモーダルAIモデル、Apertus 1.5を発表しました。このリリースは、生成ワークフローにおいて強力で透明性の高いモデルへのアクセスを優先するクリエイターにとって重要な瞬間であり、クローズドソースシステムに代わる強力な選択肢を提供します。

主なポイント

• Apertus 1.5は、Swiss AIによるオープンウェイトのマルチモーダルモデルであり、一般的な使用制限なしにファインチューニングとデプロイが可能です。
• このモデルはMT-Benchで87.0点を獲得し、GPT-4oの86.1点を上回りました。また、MMLUで75.3点を達成し、GPT-4oの74.5点を上回り、優れたテキストベースの推論能力を示しました。
• 視覚タスクでは、Apertus 1.5はMMMUで79.5点、MathVistaで73.1点を獲得し、Llama 3 400Bに近いパフォーマンスを発揮しました。
• Apertus 1.5は、4.1兆のテキストトークンと52億の画像トークンでトレーニングされ、教師ありファインチューニングと強化学習のいくつかの段階を含む新しいトレーニングパイプラインを利用しています。
• そのオープンウェイトの性質により、AIアーティストはモデルを検査、変更、ローカルにデプロイでき、より大きな創造的制御とカスタマイズを促進します。

テキストパフォーマンスがGPT-4oを凌駕

AIをコンセプト化、プロンプト生成、または複雑なテキスト指示に依存するアーティストや開発者にとって、Apertus 1.5は魅力的な選択肢となります。このモデルはMT-Benchスコアで87.0点を達成し、GPT-4oの86.1点をわずかに上回りました。また、MMLUスコアでは75.3点を達成し、GPT-4oの74.5点を上回りました。これらのベンチマークは、より微妙なテキストの理解と生成が可能なモデルを示唆しており、これは画像やビデオ出力に対するより洗練された正確な制御に直接つながります。これにより、プロンプトエンジニアリングの推測が減り、複雑なアイデアを視覚形式により直接的に変換できる可能性が高まります。AIパワードキャラクターの複雑な伝承を生成したり、モデルがより忠実に解釈する詳細なシーン記述を作成したりすることを想像してみてください。

ビジョン能力がLlama 3に匹敵

テキストパフォーマンスは重要ですが、マルチモーダルモデルの視覚理解はAIアートクリエイターにとって最も重要です。Apertus 1.5はMMMUで79.5点、MathVistaで73.1点を獲得し、MetaのLlama 3 400Bに匹敵するパフォーマンスレベルに位置付けられます。このレベルの視覚的洞察力は、モデルが高い精度で視覚入力を処理および解釈できることを意味し、画像から画像への変換、スタイル転送、さらには複雑な視覚プロンプトに基づいて新しい画像を生成するなどのタスクにとって重要な機能です。たとえば、アーティストはApertus 1.5に画像とテキストプロンプトを与えて特定の要素を洗練させることができ、モデルが両方の入力を高い忠実度で理解していることを知っています。これは、画像生成やAIビデオのワークフローに大きな影響を与える可能性があります。

クリエイターにとってのオープンウェイトの利点

プロプライエタリモデルとは異なり、Apertus 1.5のオープンウェイトステータスは、AIアートコミュニティにとって大きな恩恵です。これにより、クリエイターはモデルをダウンロード、検査、ファインチューニングし、自身のハードウェアまたは好みのクラウド環境にデプロイできます。このレベルのアクセスは、より大きな創造的自由を育み、アーティストがAPIプロバイダーの条件や価格設定に制約されることなく、特定の美的スタイルやニッチなアプリケーションにモデルを適応させることを可能にします。カスタムデータセットでファインチューニングできる能力は、高度に専門化されたアートジェネレーターの開発への扉を開き、初期のオープンソース写真ツールで愛好家がソフトウェアを自身の正確なニーズに合わせて変更できた時代を彷彿とさせます。これは、多くの商用モデルの不透明な性質とは対照的であり、その内部動作は隠されたままです。当社のモデルカタログで幅広いオープンウェイトモデルを探索できます。

「Apertus 1.5は、4.1兆のテキストトークンと52億の画像トークンという膨大なデータセットでゼロからトレーニングされた、真のオープンウェイトマルチモーダルモデルです。」

— Hugging Face Blog

Swiss AIは、Apertus 1.5の洗練されたトレーニングパイプラインを詳述しており、4段階の継続的な事前トレーニングに続き、教師ありファインチューニング（SFT）、長文コンテキストSFT、およびRLVR、DPO、SDPOなどのさまざまな強化学習技術が含まれています。テキストと画像トークン（テキスト4.1兆、画像52億）の両方のこのような広大なデータセットに対するこの綿密なトレーニングアプローチが、その強力なパフォーマンスをさまざまなモダリティで支えています。Hugging Faceのリリースノートには、基礎となるアーキテクチャとトレーニング方法論に興味のある人向けに、さらに技術的な詳細が記載されています。この透明性とオープンアクセスへのコミットメントは、モデル開発の新しい標準を設定し、強力であるだけでなく、完全に監査可能でカスタマイズ可能なツールをアーティストに提供する可能性があります。