Beam: 파인튜닝과 무제한 배포가 가능한 5010억 파라미터 오픈 웨이트 MoE 모델

Hugging Face가 Beam을 공개했습니다. 누구나 사용 제한 없이 파인튜닝, 자체 호스팅, 수정이 가능한 5010억 파라미터 규모의 오픈 웨이트 혼합 전문가(MoE) 모델로, 현재 공개된 동종 모델 중 최대 규모입니다.

핵심 요약

• Beam은 Hugging Face가 공개한 5010억 파라미터 혼합 전문가(MoE) 모델로, 완전히 공개된 웨이트와 상업적 제한이 없습니다.
• 아키텍처는 3개의 밀집 레이어와 49개의 MoE 레이어로 구성되며, 각 토큰은 레이어당 256개의 전문가 중 8개로 라우팅됩니다.
• Beam은 52개 레이어 전반에 걸쳐 히든 스테이트 스케일을 일정하게 유지하기 위해 깊이 의존적 잔차 가중치를 도입했으며, 이는 표준 트랜스포머 잔차 설계에서 벗어난 방식입니다.
• Hugging Face의 자체 학습 로그에 따르면, LoRA를 사용한 지도 파인튜닝이 단일 8-GPU B300 노드에서 500스텝 이내에 수렴했습니다.
• 웨이트가 완전히 공개되어 있어, 크리에이터는 API 속도 제한, 토큰당 비용, 벤더 종속 없이 커스텀 파인튜닝을 실행할 수 있습니다.

아키텍처: 256개의 전문가, 토큰당 8개 활성화

Beam의 MoE 설계는 헤드라인 파라미터 수에도 불구하고 연산량을 관리 가능한 수준으로 유지합니다. MoE 레이어당 256개의 전문가 중 8개만 활성화되므로, 포워드 패스당 실제 연산량은 5010억의 일부에 불과합니다. 라우터는 256개의 전문가 전체를 평가하고 그룹을 선택한 뒤 각 토큰을 디스패치하는데, Hugging Face는 이 2단계 프로세스가 단일 패스 라우팅 대비 전문가 활용도를 향상시킨다고 밝혔습니다.

네트워크 앞단의 3개 밀집 레이어는 MoE 스택이 이어받기 전에 초기 표현을 처리합니다. 어텐션 블록은 RoPE 위치 인코딩과 학습된 시그모이드 게이트를 갖춘 그룹 쿼리 어텐션을 사용하며, 최근 Llama 또는 Mistral 파생 모델을 다뤄본 사람이라면 익숙한 구성입니다.

파인튜닝 안정성에 중요한 잔차 스트림 변경

Beam에서 기술적으로 가장 독특한 선택은 잔차 연결을 처리하는 방식입니다. 표준 트랜스포머는 각 서브레이어의 출력을 고정 가중치 1로 더하는데, 이로 인해 히든 스테이트 노름이 깊이에 따라 위로 편향됩니다. Beam은 레이어가 깊어질수록 스케일을 줄이는 깊이 의존적 잔차 가중치를 사용하여, 52개 레이어 전반에 걸쳐 누적된 히든 스테이트를 일정한 스케일로 유지합니다.

파인튜너에게 이는 실질적으로 중요한 의미를 가집니다. 안정적인 히든 스테이트 노름은 일부 레이어에서 학습된 LoRA 어댑터가 그래디언트 폭발을 일으키거나 공격적인 학습률 조정을 필요로 할 가능성을 줄여줍니다. Hugging Face의 자체 파인튜닝 로그 — 단일 8-GPU B300 노드에서의 500스텝 LoRA 실행 — 는 깔끔한 손실 수렴을 보여주지만, 이는 벤더 하드웨어에서 진행된 벤더 주도 벤치마크로 아직 대규모 독립 검증은 이루어지지 않았습니다.

오픈 웨이트가 AI 크리에이터에게 실제로 열어주는 것

「오픈 웨이트, 무제한」이라는 프레이밍은 일상적인 워크플로를 가장 구체적으로 바꾸는 부분입니다. 독점 프론티어 모델은 토큰당 요금을 부과하고, 추론에 속도 제한을 걸며, 출력물 파인튜닝을 금지합니다. Beam은 이 세 가지 제약을 동시에 제거했으며, 그것도 이전에는 공개 동등 모델이 없었던 5010억 파라미터 규모에서 그렇게 했습니다.

AI 아트 크리에이터에게 즉각적인 활용 사례는 API 비용이 볼륨에 따라 증가하는 것을 걱정하지 않고 커스텀 캡셔닝, 프롬프트 재작성, 이미지 설명 파이프라인을 구축하는 것입니다. Charmloop 생성기를 통해 하루에 수천 건의 이미지를 생성하는 스튜디오는 로컬 호스팅된 Beam 파인튜닝 모델을 프롬프트 최적화기 또는 메타데이터 태거로 연결하여 호출당 추가 비용 없이 활용할 수 있습니다.

하드웨어 요구 사항은 현실적입니다. MoE 희소성을 적용하더라도 5010억 파라미터를 실행하려면 멀티 GPU 인프라가 필요합니다. Hugging Face는 단일 8-GPU B300 노드에서 파인튜닝을 시연했지만, 프로덕션 처리량에서의 추론에는 유사하거나 더 많은 리소스가 필요합니다. 이 모델은 단일 소비자용 GPU를 위한 것이 아니며, 소비자급 로컬 추론의 실질적인 한계를 기록한 Mac Studio 하드웨어에서의 로컬 AI 테스트에서 다룬 인프라 계층에 더 가깝습니다.

더 작은 오픈 모델을 먼저 실험해보고 싶은 크리에이터는 Charmloop 모델 카탈로그에서 더 적은 하드웨어로 실행 가능한 옵션을 탐색한 뒤, 컴퓨팅 규모가 커지면 Beam을 목표 아키텍처로 삼을 수 있습니다.

Hugging Face 공식 발표에 따르면, Beam은 전체 웨이트, 학습 코드, 파인튜닝 문서와 함께 지금 바로 이용 가능합니다. 오픈 프론티어에 5010억 파라미터짜리 새 주자가 등장했습니다 — 커뮤니티가 그 위에 무엇을 만들어낼지가 진짜 주목할 부분입니다.