스위스 AI의 Apertus 1.5 모델, 텍스트에서 GPT-4o 능가, 비전에서 Llama 3와 경쟁

스위스 AI가 오픈 웨이트 멀티모달 AI 모델인 Apertus 1.5를 공개했습니다. 이 모델은 여러 주요 텍스트 기반 벤치마크에서 OpenAI의 GPT-4o를 확실히 능가하며, Meta의 Llama 3 400B와 동등한 시각적 추론 능력을 달성했습니다. 이 출시는 생성 워크플로우를 위해 강력하고 투명한 모델에 대한 접근성을 우선시하는 크리에이터들에게 중요한 순간이며, 폐쇄형 시스템에 대한 강력한 대안을 제공합니다.

주요 내용

• Apertus 1.5는 스위스 AI의 오픈 웨이트 멀티모달 모델로, 일반적인 사용 제한 없이 미세 조정 및 배포가 가능합니다.
• 이 모델은 MT-Bench에서 87.0점을 기록하여 GPT-4o의 86.1점을 넘어섰고, MMLU에서 75.3점을 달성하여 GPT-4o의 74.5점을 능가하며 우수한 텍스트 기반 추론 능력을 보여주었습니다.
• 시각적 작업에서 Apertus 1.5는 MMMU에서 79.5점, MathVista에서 73.1점을 기록하여 Llama 3 400B와 유사한 성능을 보였습니다.
• Apertus 1.5는 4.1조 개의 텍스트 토큰과 52억 개의 이미지 토큰으로 훈련되었으며, 여러 단계의 지도 미세 조정 및 강화 학습을 포함하는 새로운 훈련 파이프라인을 활용했습니다.
• 오픈 웨이트 특성 덕분에 AI 아티스트는 모델을 검사, 수정 및 로컬에 배포할 수 있어 더 큰 창의적 제어 및 사용자 정의가 가능합니다.

텍스트 성능, GPT-4o 능가

개념화, 프롬프트 생성 또는 복잡한 텍스트 지침을 위해 AI에 의존하는 아티스트와 개발자에게 Apertus 1.5는 매력적인 사례를 제시합니다. 이 모델은 MT-Bench 점수 87.0점을 달성하여 GPT-4o의 86.1점보다 약간 앞섰고, MMLU 점수 75.3점을 기록하여 GPT-4o의 74.5점을 능가했습니다. 이러한 벤치마크는 텍스트에 대한 보다 미묘한 이해와 생성이 가능한 모델임을 시사하며, 이는 이미지 및 비디오 출력에 대한 보다 정교하고 정확한 제어로 직접 연결됩니다. 이는 프롬프트 엔지니어링 추측을 줄이고 복잡한 아이디어를 시각적 형태로 보다 직접적으로 변환할 수 있음을 의미합니다. AI 기반 캐릭터를 위한 복잡한 배경 스토리를 생성하거나 모델이 더 높은 충실도로 해석하는 상세한 장면 설명을 작성하는 것을 상상해 보세요.

비전 기능, Llama 3와 경쟁

텍스트 성능이 중요하지만, 멀티모달 모델의 시각적 이해는 AI 아트 크리에이터에게 가장 중요합니다. Apertus 1.5는 MMMU에서 79.5점, MathVista에서 73.1점을 기록하여 Meta의 Llama 3 400B와 견줄 만한 성능 등급에 속합니다. 이 수준의 시각적 통찰력은 모델이 높은 정확도로 시각적 입력을 처리하고 해석할 수 있음을 의미하며, 이는 이미지-이미지 변환, 스타일 전송 또는 복잡한 시각적 프롬프트를 기반으로 새로운 이미지를 생성하는 것과 같은 작업에 중요한 기능입니다. 예를 들어, 아티스트는 Apertus 1.5에 이미지와 텍스트 프롬프트를 제공하여 특정 요소를 다듬을 수 있으며, 모델이 두 입력을 높은 충실도로 이해한다는 것을 알 수 있습니다. 이는 이미지 생성 및 AI 비디오 워크플로우에 상당한 영향을 미칠 수 있습니다.

크리에이터를 위한 오픈 웨이트의 장점

독점 모델과 달리 Apertus 1.5의 오픈 웨이트 상태는 AI 아트 커뮤니티에 상당한 이점입니다. 크리에이터는 모델을 다운로드하고, 검사하고, 미세 조정하고, 자체 하드웨어 또는 선호하는 클라우드 환경에 배포할 수 있습니다. 이러한 수준의 접근성은 더 큰 창의적 자유를 촉진하여 아티스트가 API 제공업체의 약관이나 가격에 구애받지 않고 특정 미적 스타일이나 틈새 애플리케이션에 모델을 적용할 수 있도록 합니다. 사용자 정의 데이터셋으로 미세 조정할 수 있는 기능은 고도로 전문화된 아트 생성기를 개발할 수 있는 문을 열어주며, 초기 오픈 소스 사진 도구 시대에 애호가들이 자신의 정확한 요구에 맞게 소프트웨어를 수정할 수 있었던 것을 떠올리게 합니다. 이는 내부 작동 방식이 숨겨져 있는 많은 상업용 모델의 불투명한 특성과 대조됩니다. 모델 카탈로그에서 다양한 오픈 웨이트 모델을 탐색할 수 있습니다.

「Apertus 1.5는 4.1조 개의 텍스트 토큰과 52억 개의 이미지 토큰으로 구성된 방대한 데이터셋으로 처음부터 훈련된 진정한 오픈 웨이트 멀티모달 모델입니다.」

— Hugging Face 블로그

스위스 AI는 Apertus 1.5에 대한 정교한 훈련 파이프라인을 자세히 설명합니다. 여기에는 4단계의 지속적인 사전 훈련과 지도 미세 조정(SFT), 장문 컨텍스트 SFT, 그리고 RLVR, DPO, SDPO와 같은 다양한 강화 학습 기술이 포함됩니다. 텍스트 및 이미지 토큰(텍스트 4.1조, 이미지 52억)으로 구성된 방대한 데이터셋에 대한 이러한 세심한 훈련 접근 방식은 다양한 모달리티에서 강력한 성능을 뒷받침합니다. Hugging Face의 릴리스 노트는 기본 아키텍처 및 훈련 방법론에 관심 있는 사람들을 위해 추가적인 기술적 깊이를 제공합니다. 이러한 투명성과 개방형 접근에 대한 약속은 모델 개발의 새로운 표준을 설정하여 아티스트에게 강력할 뿐만 아니라 완전히 감사 가능하고 사용자 정의 가능한 도구를 제공할 수 있습니다.