Theo는 AI 뉴스를 오늘 밤 바로 시도해볼 수 있는 것들로 바꿔 드립니다.
이 이야기에서 영감을 받으셨나요? 그 아이디어를 단 몇 초 만에 나만의 AI 아트로 만들어 보세요. 무료로 시작할 수 있고, 카드 등록도 필요 없습니다.
무료로 만들기 시작컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
NVIDIA가 40개 이상의 언어로 오디오를 전사할 수 있는 새로운 오픈소스 음성-텍스트 변환 모델인 Nemotron 3.5 Transcribe를 출시했습니다. 이는 녹음된 음성을 다루는 크리에이터에게 강력한 무료 도구를 제공합니다. 실시간 전사 서비스와 달리 이 모델은 사전 녹음된 오디오를 처리하므로 비디오 프로젝트의 정확한 자막 생성이나 음성 메모를 캐릭터 대화 텍스트로 변환하는 등의 작업에 이상적입니다.
AI 아트 크리에이터, 특히 비디오 생성이나 광범위한 대화를 가진 AI 동반자 제작에 참여하는 사람들에게 Nemotron 3.5 Transcribe는 워크플로우를 크게 간소화할 수 있습니다. 짧은 AI 생성 영화의 정확한 자막을 생성하거나, 프롬프트 개선 또는 스크립팅을 위해 몇 시간 분량의 녹음된 캐릭터 음성 라인을 텍스트로 변환해야 한다고 상상해 보세요. 다양한 언어를 처리하는 능력은 국제 관객을 대상으로 하는 크리에이터에게 새로운 길을 열어줄 수도 있습니다.
영어와 스페인어부터 일본어와 힌디어에 이르기까지 40개 이상의 언어를 지원하는 이 모델의 광범위한 언어 지원은 핵심적인 차별점입니다. 이는 AI 생성 애니메이션 시리즈를 개발하는 크리에이터가 여러 언어로 캐릭터 대화를 녹음한 다음 Nemotron 3.5 Transcribe를 사용하여 각 언어에 대한 정확한 텍스트 스크립트를 생성하여 번역하거나 자막에 직접 사용할 수 있음을 의미합니다. 이 모델은 Hugging Face를 통해 사용할 수 있으므로 해당 플랫폼을 다른 AI 모델에 이미 사용하고 있는 사람들도 접근할 수 있습니다. 이러한 모델이 더 넓은 AI 워크플로우에 어떻게 통합되는지 /guides 섹션에서 탐색할 수 있습니다.
한 가지 중요한 장점은 보고된 정확도입니다. NVIDIA는 특히 사용 가능한 훈련 데이터셋이 적은 언어의 경우 다른 많은 오픈소스 모델보다 뛰어나다고 주장합니다. 이는 덜 정밀한 전사 도구와 관련된 수동 수정 시간을 줄여 캐릭터 디자인이나 내러티브 개발과 같은 프로젝트의 창의적인 반복에 더 많은 시간을 할애할 수 있게 해줍니다.
"Nemotron 3.5 Transcribe와 Granary v2는 다국어 전사에 있어 상당한 진전을 나타내며, 비할 데 없는 정확성과 적응성을 제공합니다." — Hugging Face 블로그
Nemotron 3.5 Transcribe는 녹음된 오디오로 작동하므로 대용량 오디오 파일을 오프라인에서 일괄 처리하는 데 특히 유용합니다. 이는 실시간 합성 및 전사에 중점을 둔 ElevenLabs와 같은 서비스와 대조됩니다. 민감한 콘텐츠를 다루거나 데이터를 로컬에 보관하는 것을 선호하는 크리에이터에게 오프라인 처리는 개인 정보 보호 및 제어 계층을 제공합니다.
또 다른 강력한 기능은 모델을 미세 조정하는 기능입니다. 이는 특정 용어, 고유한 캐릭터 음성 또는 특정 억양으로 지속적으로 작업하는 경우 Nemotron 3.5 Transcribe를 자신의 데이터로 훈련하여 이러한 틈새 사례에 대한 정확도를 향상시킬 수 있음을 의미합니다. 이러한 사용자 정의는 장기 프로젝트에 있어 판도를 바꿀 수 있으며, 창의적인 비전에 완벽하게 부합하는 일관되고 고품질의 전사를 보장합니다. 고급 모델 사용에 관심이 있는 분들을 위해 /learn 섹션에서는 사용자 정의 기술에 대한 심층적인 내용을 제공합니다. 이러한 종류의 전문화된 모델 훈련은 Hugging Face와 Liquid AI가 최근 출시한 LFM3과 같은 다른 다중 모달 모델에서 볼 수 있듯이 증가하는 추세입니다.
Nemotron 3.5 Transcribe는 실시간 오디오를 처리하지는 않지만, 정확성, 다국어 지원 및 오프라인 처리의 강점은 특히 비디오 콘텐츠를 생성하거나 복잡한 언어적 요구 사항을 가진 AI 동반자를 개발하는 AI 아트 크리에이터의 도구 키트에 매력적인 추가 기능이 됩니다.
