Maya는 새 모델이 나올 때마다 직접 벤치마크합니다 — 숫자가 먼저, 과장은 없습니다.
이 이야기에서 영감을 받으셨나요? 그 아이디어를 단 몇 초 만에 나만의 AI 아트로 만들어 보세요. 무료로 시작할 수 있고, 카드 등록도 필요 없습니다.
무료로 만들기 시작컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
Hugging Face는 효율적인 온디바이스 개인 비서 애플리케이션을 위해 설계된 새로운 10억 미만 매개변수 에이전트 언어 모델인 BotPsy-0.8B를 공개했습니다. 이 모델은 6개 도구 사용 및 에이전트 벤치마크 중 5개에서 Qwen3.5-2B-Think(자체 크기의 2.5배)를 포함한 더 큰 경쟁 모델을 능가하는 것으로 알려졌습니다.
Hugging Face는 지연 시간과 개인 정보 보호 문제를 줄이면서 소비자 하드웨어에서 로컬로 실행될 수 있는 유능한 AI 에이전트에 대한 수요를 해결하기 위해 BotPsy-0.8B를 개발했습니다. 온디바이스 성능에 대한 이러한 초점은 AI로 생성하는 AI 아트 제작자에게 중요합니다. 로컬 처리는 더 빠른 반복 시간과 민감한 데이터에 대한 더 큰 제어를 제공하여 클라우드 서비스 종속성 및 관련 비용을 우회할 수 있기 때문입니다.
BotPsy-0.8B의 아키텍처는 다양한 데이터셋에 대한 지도 미세 조정(SFT)으로 시작하는 4단계 훈련 레시피에 의존합니다. 핵심 혁신은 다중 교사 증류 단계에 있습니다. 여기서 학생 모델은 세 가지 개별 Qwen3.5-4B 교사 모델로부터 학습합니다. 각 교사는 지시 따르기, 지식, 도구 사용이라는 다른 측면을 전문으로 합니다. 이 모듈식 접근 방식을 통해 더 작은 BotPsy 모델은 복잡한 기능을 효율적으로 흡수할 수 있습니다.
BotPsy의 훈련은 4단계로 이루어지며, 3명의 전문 Qwen3.5-4B 교사가 증류 과정을 안내합니다.
이미지: Hugging Face Blog
Hugging Face가 상세히 설명한 훈련 프로세스는 초기 SFT가 도구 사용을 향상시키지만 일반 지식을 저하시킬 수 있음을 보여줍니다. 후속 증류 단계는 지식 및 지시 따르기 능력을 복원하고 향상시키는 데 중요하며, 궁극적으로 기본 모델의 성능을 뛰어넘습니다. 이러한 균형은 전문적인 실행과 광범위한 이해가 모두 필요한 에이전트에게 핵심입니다.
Hugging Face의 벤치마크에 따르면 BotPsy-0.8B는 기본 모델을 크게 능가하며 6개 도구 사용 및 에이전트 벤치마크 중 5개에서 선두를 차지했습니다. 특히, 다중 턴 에이전트 작업 및 복잡한 시나리오 처리와 같은 영역에서 2.5배 더 큰 모델인 Qwen3.5-2B-Think를 능가했습니다. Claw-Eval 벤치마크에서만 Qwen3.5-2B-Think가 약간 우위를 보였습니다.
이러한 성능은 고도로 최적화된 소형 모델이 특정 작업에서 더 크고 효율적으로 훈련되지 않은 모델의 기능을 능가하거나 능가할 수 있음을 시사합니다. 제작자에게 이는 이미지 생성 워크플로 또는 창의적인 애플리케이션에 직접 내장된 정교한 AI 비서의 잠재력을 의미하며, 원격 서버에 의존하지 않고 반응적이고 지능적인 지원을 제공합니다. 이러한 에이전트를 로컬로 실행할 수 있는 기능은 API 기반 모델에 비해 지속적인 운영 비용을 줄일 수도 있습니다. AI를 도구에 통합하려는 개발자는 이러한 효율적인 모델이 많은 리소스 요구 없이 사용자 지정 기능을 만드는 데 특히 유용하다는 것을 알 수 있으며, 잠재적으로 Charmloop 모델 카탈로그에 새로운 옵션을 추가할 수 있습니다.
BotPsy-0.8B와 같은 효율적인 온디바이스 에이전트 모델의 개발은 보다 접근 가능하고 통합된 AI로의 전환을 알립니다. AI 아트 제작자에게 이는 복잡한 프롬프트, 워크플로 자동화 또는 창작 과정 중 실시간 피드백이 가능한 더 강력한 로컬 비서로 이어질 수 있습니다. 단순히 이미지를 생성하는 대신, 에이전트는 사용자 의도 및 예술적 원리에 대한 깊은 이해를 바탕으로 개념을 다듬고, 자산을 관리하거나, 복잡한 스타일 조정까지 제안할 수 있습니다. 이는 특정 작업을 위해 설계된 다른 경량 모델에서 볼 수 있듯이 더 많은 AI 기능을 에지로 가져오는 광범위한 추세와 일치하며, 잠재적으로 제작자가 사용할 수 있는 AI 도구의 범위를 확장합니다. 이러한 모델이 다중 턴 에이전트 작업을 처리할 수 있는 능력은 더 긴 상호 작용에서 컨텍스트를 유지할 수 있음을 의미하며, 복잡한 창의적 프로젝트에 더 효과적입니다.
「BotPsy-0.8B는 기본 모델을 크게 능가하며 Qwen3.5-2B-Think(자체 크기의 2.5배)를 포함한 6개 도구 사용 및 에이전트 벤치마크 중 5개에서 선두를 차지했습니다.」
— Hugging Face 블로그
에이전트 기능에 대한 이러한 초점은 모델이 질문에 답하는 것뿐만 아니라 외부 도구를 활용하여 행동하도록 설계되었음을 의미하며, 이는 복잡한 창의적 작업에 중요한 기능입니다. 온디바이스 AI가 계속 발전함에 따라 제작자는 선호하는 애플리케이션 내에서 직접 더 강력하고 통합된 AI 비서를 기대할 수 있으며, 지속적인 클라우드 연결 및 API 호출의 필요성을 잠재적으로 줄일 수 있습니다. 이는 모델이 사용자 장치에서 직접 학습하고 적응함에 따라 더 개인화된 AI 경험으로 이어질 수도 있습니다.
