Beamは微調整・デプロイ制限なしで利用できる5010億パラメータのオープンウェイトMoEモデル

Hugging FaceがBeamをリリースした。5010億パラメータのオープンウェイト混合エキスパート（MoE）モデルで、誰でも利用制限なしに微調整・セルフホスト・改変が可能——同種のモデルとして現時点で公開ライセンス済みの最大規模となる。

主なポイント

• Beamは、Hugging Faceがリリースした5010億パラメータの混合エキスパート（MoE）モデルで、完全オープンウェイト・商用制限なし。
• アーキテクチャは3つの密結合層と49のMoE層で構成され、各トークンはレイヤーごとに256エキスパートのうち8つにルーティングされる。
• Beamは深さ依存の残差ウェイトを導入し、52層全体にわたって隠れ状態のスケールを一定に保つ——標準的なTransformerの残差設計からの脱却。
• Hugging Face自身のトレーニングログによれば、単一の8GPU B300ノードでLoRAを用いた教師あり微調整を実施し、500ステップ以内に収束。
• ウェイトが完全公開のため、クリエイターはAPIレート制限・トークン課金・ベンダーロックインなしにカスタム微調整を実行できる。

アーキテクチャ：256エキスパート、トークンごとに8つをアクティブ化

BeamのMoE設計は、パラメータ数の多さにもかかわらず計算量を現実的な範囲に抑えている。MoE層ごとにアクティブ化されるエキスパートは256のうち8つのみで、1回のフォワードパスあたりの実効計算量は501Bのごく一部に留まる。ルーターは256のエキスパート全てにスコアを付け、グループを選択してから各トークンをディスパッチする——Hugging Faceによれば、この2段階プロセスによりシングルパスルーティングよりもエキスパートの利用効率が向上するという。

ネットワーク前段の3つの密結合層は、MoEスタックが処理を引き継ぐ前の初期表現を担う。アテンションブロックはRoPE位置エンコーディングとグループクエリアテンション、学習済みシグモイドゲートを採用しており、最近のLlamaやMistral派生モデルを扱ったことがある開発者には馴染みのある構成だ。

微調整の安定性に関わる残差ストリームの変更点

Beamで最も技術的に際立った選択は、残差接続の扱い方にある。標準的なTransformerは各サブレイヤーの出力を固定ウェイト1で加算するため、隠れ状態のノルムが深さとともに増大していく。Beamは深さ依存の残差ウェイトを使用し、層が深くなるにつれてスケールダウンすることで、52層全体にわたって累積隠れ状態を一定スケールに保つ。

微調整を行うユーザーにとって、これは実用上重要な意味を持つ。隠れ状態のノルムが安定していれば、一部の層で訓練したLoRAアダプターが勾配爆発を起こしたり、積極的な学習率調整を必要としたりするリスクが低減される。Hugging Face自身の微調整ログ——1台の8GPU B300ノードでの500ステップLoRAの実行——はクリーンな損失収束を示しているが、これはベンダー自身のハードウェアで実施したベンチマークであり、大規模での独立した再現はまだ行われていない。

オープンウェイトがAIクリエイターにもたらすもの

「オープンウェイト・制限なし」というフレーミングは、日々のワークフローを最も具体的に変える部分だ。プロプライエタリなフロンティアモデルはトークン単位で課金し、推論にレート制限を設け、出力に対する微調整を禁止している。Beamはこの3つの制約を、これまでオープンな同等品が存在しなかった規模——5010億パラメータ——で同時に取り除く。

AIアートクリエイターにとって特に直接的なユースケースは、APIコストがボリュームに応じて増大することを気にせず、カスタムキャプション生成・プロンプト書き換え・画像説明パイプラインを構築できることだ。Charmloopのジェネレーターで1日に数千枚の画像生成を行うスタジオであれば、ローカルホストしたBeamの微調整版をプロンプトオプティマイザーやメタデータタガーとして接続し、呼び出しごとの追加コストをゼロにすることができる。

ただし、ハードウェア要件は現実的な課題だ。MoEのスパース性があるとはいえ、5010億パラメータの実行にはマルチGPUインフラが必要になる。Hugging Faceは単一の8GPU B300ノードでの微調整を実証したが、本番スループットでの推論には同等以上のリソースが必要になる。これはコンシューマー向けGPU1枚で動かせるモデルではなく、Mac StudioハードウェアでのローカルAIテストで取り上げたインフラ層——コンシューマーグレードのローカル推論の現実的な上限を記録した記事——に近い位置づけだ。

まず小規模なオープンモデルで試したいクリエイターは、Charmloopモデルカタログでより控えめなハードウェアで動作するオプションを探し、コンピュートが拡張できた段階でBeamをターゲットアーキテクチャとして検討するとよいだろう。

Hugging Faceのアナウンスによれば、Beamは完全なウェイト・トレーニングコード・微調整ドキュメントとともに現在利用可能だ。オープンフロンティアに5010億パラメータの新たな選択肢が加わった——コミュニティがその上に何を構築するかが、真に注目すべき点だ。