NVIDIA、40言語対応の無料オフライン音声認識モデル「Nemotron 3.5 Transcribe」をリリース

NVIDIAは、40以上の言語で音声を文字起こしできる新しいオープンソースの音声認識モデル「Nemotron 3.5 Transcribe」をリリースしました。これは、録音された音声を使用するクリエイターにとって強力な無料ツールとなります。リアルタイムの文字起こしサービスとは異なり、このモデルは事前に録音された音声を処理するため、ビデオプロジェクトの正確な字幕生成や、音声メモをキャラクターのセリフのテキストに変換するなどのタスクに最適です。

主なポイント

• NVIDIAのNemotron 3.5 Transcribeは、無料で利用できる新しいオープンソースの音声認識モデルです。
• 英語、スペイン語、ドイツ語、フランス語、日本語を含む40以上の言語での文字起こしをサポートしています。
• このモデルは、リアルタイムの音声入力ではなく、事前に録音されたオーディオファイル向けに設計されており、ライブ文字起こしサービスとは異なります。
• NVIDIAは、特にあまり一般的でない言語において、既存の多くのオープンソースモデルよりも精度が高いと主張しています。
• クリエイターは、独自のデータでモデルをファインチューニングして、特定のアクセントや専門用語に対するパフォーマンスを向上させることができます。

AIアートクリエイター、特にビデオ生成や、広範な対話を持つAIコンパニオンの作成に携わる人々にとって、Nemotron 3.5 Transcribeはワークフローを大幅に効率化する可能性があります。AI生成された短編映画の正確な字幕を生成したり、何時間もの録音されたキャラクターのセリフをプロンプトの洗練やスクリプト作成のためにテキストに変換したりする必要がある場合を想像してみてください。多様な言語を処理できる能力は、国際的な視聴者をターゲットとするクリエイターに新たな道を開く可能性もあります。

多言語コンテンツ作成の強化

英語やスペイン語から日本語やヒンディー語まで、40以上の言語をカバーするこのモデルの幅広い言語サポートは、重要な差別化要因です。これは、AI生成アニメシリーズを開発するクリエイターが、複数の言語でキャラクターのセリフを録音し、Nemotron 3.5 Transcribeを使用して、翻訳や字幕に直接使用できる正確なテキストスクリプトをそれぞれ生成できることを意味します。このモデルはHugging Faceを通じて利用できるため、すでにそのプラットフォームを他のAIモデルに使用している人々にとってアクセスしやすくなっています。このようなモデルがより広範なAIワークフローにどのように適合するかについては、当社の/guidesセクションで詳しく説明しています。

大きな利点の1つは、その報告されている精度です。NVIDIAは、特に利用可能なトレーニングデータセットが少ない言語において、他の多くのオープンソースモデルを上回ると主張しています。これにより、精度の低い文字起こしツールにありがちな手動修正の時間を削減でき、キャラクターデザインや物語開発などのプロジェクトにおける創造的な反復作業により多くの時間を費やすことができます。

「Nemotron 3.5 TranscribeとGranary v2は、多言語文字起こしにおける大きな飛躍を表しており、比類のない精度と適応性を提供します。」 — Hugging Face Blog

オフライン処理と特定のニーズへのカスタマイズ

Nemotron 3.5 Transcribeは録音された音声で動作するため、大量のオーディオファイルをオフラインでバッチ処理するのに特に役立ちます。これは、リアルタイムの合成と文字起こしに焦点を当てているElevenLabsのようなサービスとは対照的です。機密性の高いコンテンツを扱うクリエイターや、データをローカルに保持することを好むクリエイターにとって、オフライン処理はプライバシーと制御の層を提供します。

もう1つの強力な機能は、モデルをファインチューニングできることです。これは、特定の専門用語、ユニークなキャラクターの声、または特定のアクセントで一貫して作業している場合、Nemotron 3.5 Transcribeを独自のデータでトレーニングして、それらのニッチなケースでの精度を向上させることができることを意味します。このカスタマイズは、長期的なプロジェクトにとって画期的なものとなり、創造的なビジョンに完全に合致する一貫した高品質の文字起こしを保証します。高度なモデルの使用に興味がある方のために、当社の/learnセクションでは、カスタマイズ技術についてさらに深く掘り下げています。このような特殊なモデルトレーニングは、Hugging FaceとLiquid AIが最近発表したLFM3のような他のマルチモーダルモデルに見られるように、成長傾向にあります。

Nemotron 3.5 Transcribeはリアルタイムオーディオには対応していませんが、その精度、多言語サポート、オフライン処理における強みは、特にビデオコンテンツを生成したり、複雑な言語ニーズを持つAIコンパニオンを開発したりするAIアートクリエイターのツールキットに魅力的な追加機能となります。