Обери компаньйона і дізнайся його думку про цю історію
Схожі статті
Hugging Face запустив Open TTS Leaderboard — масштабований публічний бенчмарк, який ранжує моделі синтезу мовлення та клонування голосу в кількох мовах і за різними параметрами оцінювання, надаючи AI-творцям перше рівноцінне порівняння систем, що дедалі активніше використовуються в AI-компаньйонах, нарації та озвученні персонажів.
Ключові висновки
Open TTS Leaderboard — це безкоштовний публічний бенчмарк, розміщений на Hugging Face, який оцінює моделі синтезу мовлення та клонування голосу за природністю, розбірливістю та схожістю з диктором.
Він охоплює багатомовну продуктивність: моделі тестуються на різних мовах, а не лише англійською — це критична прогалина в більшості попередніх порівнянь TTS.
Оцінювання використовує як автоматизовані метрики, так і оцінки людських уподобань, що знижує ризик маніпуляцій із єдиним показником.
Таблиця лідерів відкрита для подання моделей, тому розробники можуть порівнювати нові або дообчені TTS-системи з наявними.
Для творців AI-арту та AI-компаньйонів рейтинги пропонують практичний орієнтир для вибору голосового бекенду без проведення власних дорогих ablation-тестів.
Чому публічний бенчмарк TTS змінює підхід до вибору моделі
До цього часу вибір голосової моделі для AI-персонажа або робочого процесу нарації означав довіру до власних демо провайдера — ситуація, приблизно аналогічна купівлі фарби за зразком виробника. Open TTS Leaderboard, детально описаний у блозі Hugging Face, змінює це, публікуючи стандартизовані оцінки за трьома осями, що справді важливі у виробництві: природність (чи звучить це по-людськи?), розбірливість (чи можуть слухачі точно транскрибувати почуте?) та схожість з диктором (чи справді клонування голосу відповідає цільовому диктору?).
Багатомовний охоплення — це деталь, яка відрізняє цей проєкт від попередніх спроб. Більшість змагань TTS були орієнтовані на англійську мову, що майже нічого не говорить творцям про те, як модель справляється з французькими діалогами персонажів, японською нарацією або іспанськими голосами компаньйонів. Фреймворк Hugging Face систематично тестує різні мови, що важливо, оскільки платформи AI-компаньйонів і генератори персонажів виходять на неангломовні ринки.
Open TTS Leaderboard ранжує моделі TTS та клонування голосу за природністю, розбірливістю та багатомовною продуктивністю.
Автоматизовані метрики плюс оцінки людей — і чому це поєднання важливе
Таблиця лідерів поєднує автоматизовані метрики з оцінками людських уподобань. Такий подвійний підхід є прямою відповіддю на відомий збій: моделі можна налаштувати для отримання високих балів за метриками на рівні сигналу, як-от частота помилок символів, при цьому звучачи роботизовано або неприродно для людського вуха. Прив'язуючи рейтинги до обох підходів, Hugging Face ускладнює маніпуляції з результатами без реально якісного звучання.
Для творців, що створюють AI-компаньйонів або генерують голоси персонажів, ця відмінність є практичною. Модель, що очолює чарт лише за автоматизованими показниками, може все одно видавати плоску, трохи неправильну інтонацію, яка руйнує занурення в сцені рольової гри або аудіонарації. Оцінки людських уподобань виявляють цю прогалину.
«Масштабоване оцінювання є ключем до прогресу в TTS — нам потрібні бенчмарки, що працюють у різних мовах і відображають те, що насправді важливо для людей».
— Hugging Face Blog
Відкриті подання зміщують важелі впливу на користь менших лабораторій і тих, хто дообчує моделі
Таблиця лідерів приймає зовнішні подання моделей, і саме тут динаміка сил стає цікавою. Коли у 2023 році Stability AI зіткнулася з тиском спільноти щодо заявок про якість моделей, відсутність нейтральних сторонніх бенчмарків зробила незалежну перевірку майже неможливою. Відкрита таблиця лідерів із можливістю подання усуває це вузьке місце: невелика лабораторія або окремий дослідник, який дообчує багатомовну голосову модель для нішевої мови, тепер може поставити її на рівних із флагманською системою комерційного провайдера.
Для творців, які дообчують власні TTS-моделі або покладаються на голосові системи з відкритими вагами для генерації персонажів, це означає, що таблиця лідерів стає живим ресурсом, а не одноразовим знімком. Рейтинги змінюватимуться з надходженням нових подань, тому варто включити перевірку таблиці до робочого процесу перед тим, як зупинитися на голосовому бекенді для тривалого проєкту.
Творці, які вже експериментують із голосами AI-персонажів через інструменти генерації Charmloop або досліджують суміжні голосові варіанти моделей у каталозі моделей, знайдуть таблицю лідерів корисним зовнішнім орієнтиром при оцінці того, яку TTS-систему поєднати зі своїми персонажами.
Таблиця лідерів вже доступна на Hugging Face. Нагальне питання для галузі — які великі комерційні провайдери TTS — ElevenLabs, Cartesia, PlayHT та інші — вирішать подати свої моделі для незалежного ранжування, а які залишаться осторонь. Це рішення, більше ніж будь-який бал, покаже, наскільки кожен провайдер впевнений у власному продукті.
