Hugging Face випустила Beam — відкриту модель типу mixture-of-experts на 501 мільярд параметрів, яку будь-хто може дообучати, розгортати самостійно та модифікувати без жодних обмежень на використання. Це найбільша відкрито ліцензована модель такого класу, доступна сьогодні.
Ключові висновки
- Beam — це модель mixture-of-experts (MoE) на 501 мільярд параметрів, випущена Hugging Face з повністю відкритими вагами та без комерційних обмежень.
- Архітектура використовує три щільні шари, за якими йдуть 49 шарів MoE; кожен токен маршрутизується до 8 із 256 експертів на кожному шарі.
- Beam запроваджує залежні від глибини залишкові ваги, щоб підтримувати постійний масштаб прихованого стану на всіх 52 шарах — відхід від стандартного трансформерного залишкового дизайну.
- Запуск supervised fine-tuning на одному вузлі з 8 GPU B300 з використанням LoRA досяг збіжності за 500 кроків, згідно з власними журналами навчання Hugging Face.
- Оскільки ваги повністю відкриті, розробники можуть запускати власне дообучання без обмежень API, поплатного тарифікування або прив'язки до постачальника.
Архітектура: 256 експертів, 8 активних на токен
Дизайн MoE у Beam дозволяє утримувати обчислення в розумних межах попри вражаючу кількість параметрів. На кожному шарі MoE активується лише 8 із 256 експертів на токен, тому ефективні обчислення на один прямий прохід становлять лише частку від 501B. Маршрутизатор оцінює всіх 256 експертів, формує групи, а потім розподіляє кожен токен — двоетапний процес, який, за словами Hugging Face, покращує використання експертів порівняно з одноетапною маршрутизацією.
Три щільні шари на початку мережі забезпечують раннє представлення даних до того, як у роботу вступає стек MoE. Блоки уваги використовують grouped-query attention із позиційним кодуванням RoPE та навченим sigmoid-гейтом — підхід, знайомий кожному, хто працював із сучасними похідними Llama або Mistral.
Зміна залишкового потоку, що важлива для стабільності дообучання
Найбільш технічно відмінним рішенням у Beam є підхід до залишкових з'єднань. Стандартні трансформери додають вихід кожного підшару з фіксованою вагою, рівною одиниці, що призводить до зростання норми прихованого стану зі збільшенням глибини. Beam використовує залежні від глибини залишкові ваги, які зменшуються в міру поглиблення шарів, підтримуючи накопичений прихований стан на постійному масштабі на всіх 52 шарах.
Для тих, хто займається дообучанням, це практично важливо: стабільні норми прихованого стану означають, що адаптери LoRA, навчені на підмножині шарів, з меншою ймовірністю спричинять вибух градієнтів або потребуватимуть агресивного налаштування швидкості навчання. Власний журнал дообучання Hugging Face — запуск LoRA на 500 кроків на одному вузлі з 8 GPU B300 — демонструє чисту збіжність функції втрат, хоча це бенчмарк від постачальника на обладнанні постачальника, який ще не відтворювався незалежно у великому масштабі.
Що відкриті ваги реально дають AI-розробникам
Формулювання «відкриті ваги без обмежень» — це та частина, яка найбільш конкретно змінює щоденні робочі процеси. Пропрієтарні фронтирні моделі стягують плату за токен, обмежують інференс і забороняють дообучання на власних виходах. Beam одночасно знімає всі три обмеження на масштабі — 501 млрд параметрів — для якого раніше не існувало відкритого аналога.
Для творців AI-арту зокрема, безпосереднє застосування — це побудова власних пайплайнів для підписів, переписування промптів або опису зображень без турботи про те, що витрати на API зростатимуть разом із обсягом. Студія, яка щодня генерує тисячі зображень через генератор Charmloop, може підключити локально розгорнуте дообучання Beam як оптимізатор промптів або тегер метаданих із нульовою граничною вартістю на виклик.
Але апаратні вимоги цілком реальні. Запуск 501 млрд параметрів — навіть із розрідженістю MoE — потребує багатоGPU-інфраструктури. Hugging Face продемонструвала дообучання на одному вузлі з 8 GPU B300, але інференс із виробничою пропускною здатністю потребуватиме аналогічних або більших ресурсів. Це не модель для одного споживчого GPU; вона ближча до інфраструктурного рівня, описаного в матеріалі про локальне тестування AI на обладнанні Mac Studio, де задокументовано практичну стелю локального інференсу споживчого класу.
Розробники, які хочуть спочатку поекспериментувати з меншими відкритими моделями, можуть переглянути каталог моделей Charmloop для варіантів, що працюють на скромнішому обладнанні, а потім розглядати Beam як цільову архітектуру в міру зростання обчислювальних потужностей.
Згідно з оголошенням Hugging Face, Beam вже доступна з повними вагами, кодом навчання та документацією з дообучання. Відкритий фронтир щойно поповнився записом на 501 млрд параметрів — і найцікавіше попереду: що спільнота побудує на його основі.
