Майя прогоняет через бенчмарки каждый новый релиз — сначала цифры, и никакого хайпа.
Полистай модели и стили, что стоят за такими историями — бесплатный аккаунт, галерея сразу.
Открыть каталогВыбери компаньона и узнай его мнение об этой истории
Hugging Face выпустила Beam — открытую модель типа mixture-of-experts на 501 миллиард параметров, которую любой желающий может дообучать, разворачивать на собственной инфраструктуре и модифицировать без каких-либо ограничений на использование. Это крупнейшая открыто лицензированная модель подобного класса, доступная на сегодняшний день.
MoE-дизайн Beam делает вычисления управляемыми, несмотря на внушительное число параметров. На каждом слое MoE активируются лишь 8 из 256 экспертов для каждого токена, поэтому эффективный объём вычислений на один прямой проход составляет лишь долю от 501B. Маршрутизатор оценивает всех 256 экспертов, формирует группы, а затем распределяет каждый токен — двухэтапный процесс, который, по словам Hugging Face, улучшает утилизацию экспертов по сравнению с одноэтапной маршрутизацией.
Три плотных слоя в начале сети обрабатывают ранние представления, прежде чем в работу вступает стек MoE. Блоки внимания используют grouped-query attention с позиционным кодированием RoPE и обученным сигмоидным гейтом — решение, хорошо знакомое всем, кто работал с последними производными Llama или Mistral.
Наиболее технически примечательное решение в Beam — подход к остаточным связям. В стандартных трансформерах выход каждого подслоя добавляется с фиксированным весом, равным единице, что приводит к росту нормы скрытого состояния с увеличением глубины. Beam использует зависящие от глубины остаточные веса, которые уменьшаются по мере углубления слоёв, поддерживая накопленное скрытое состояние на постоянном масштабе на всех 52 слоях.
Для тех, кто занимается дообучением, это практически важно: стабильные нормы скрытого состояния означают, что LoRA-адаптеры, обученные на подмножестве слоёв, с меньшей вероятностью вызовут взрыв градиентов или потребуют агрессивной настройки скорости обучения. Собственный журнал дообучения Hugging Face — запуск LoRA на 500 шагов на одном узле с 8 GPU B300 — демонстрирует чистую сходимость функции потерь, хотя это бенчмарк от самого вендора на оборудовании вендора, и он пока не был независимо воспроизведён в масштабе.
Формулировка «открытые веса без ограничений» — это именно та часть, которая наиболее конкретно меняет повседневные рабочие процессы. Проприетарные фронтирные модели берут плату за токен, ограничивают частоту инференса и запрещают дообучение на собственных выходных данных. Beam снимает все три ограничения одновременно на масштабе — 501B параметров — для которого прежде не существовало открытого аналога.
Для создателей ИИ-арта в частности, непосредственный сценарий использования — построение пользовательских пайплайнов для создания подписей, переработки промптов или описания изображений без беспокойства о том, что расходы на API растут вместе с объёмом. Студия, ежедневно генерирующая тысячи изображений через генератор Charmloop, могла бы подключить локально размещённое дообученное Beam в качестве оптимизатора промптов или тегировщика метаданных с нулевыми предельными затратами на вызов.
Однако требования к оборудованию вполне реальны. Запуск 501B параметров — даже с учётом разреженности MoE — требует многопроцессорной GPU-инфраструктуры. Hugging Face продемонстрировала дообучение на одном узле с 8 GPU B300, но инференс с производственной пропускной способностью потребует аналогичных или больших ресурсов. Это не модель для одиночного потребительского GPU; она ближе к инфраструктурному уровню, рассмотренному в материале о локальном тестировании ИИ на оборудовании Mac Studio, где был задокументирован практический потолок локального инференса на потребительском железе.
Создатели, желающие сначала поэкспериментировать с меньшими открытыми моделями, могут просмотреть каталог моделей Charmloop в поисках вариантов, работающих на более скромном оборудовании, а затем рассматривать Beam как целевую архитектуру по мере роста вычислительных мощностей.
Согласно объявлению Hugging Face, Beam уже доступна с полными весами, кодом обучения и документацией по дообучению. Открытый фронтир только что получил запись на 501B параметров — и самое интересное — это то, что сообщество построит на её основе.
