Тео перетворює новини про ШІ на те, що можна спробувати вже сьогодні ввечері.
Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Почати безкоштовноОбери компаньйона і дізнайся його думку про цю історію
Amazon Prime Video запустив функцію AI-синхронізації губ, яка цифровим способом змінює рухи губ акторів на екрані відповідно до людського дубляжу — починаючи з англійської версії німецької романтичної драми Maxton Hall.
Maxton Hall став першим проєктом Prime Video, що отримав AI-синхронізацію губ в англійській версії.
Зображення: The Verge / The Verge AI
Традиційний дубляж залишає помітний шов: губи актора артикулюють німецькі склади, тоді як саундтрек відтворює англійські, і мозок фіксує невідповідність за лічені секунди. Система Prime Video атакує цей шов на відеорівні, деформуючи геометрію губ відповідно до замінних фонем, не торкаючись людського голосового виконання. Результат, якщо він відповідає опису, наближається до бездоганної синхронізації, якої глядачі очікують від виробництв рідною мовою.
Варто точно описати конвеєр. Голосова доріжка як і раніше записується людьми-дублерами; Prime Video не генерує синтетичне мовлення. Крок AI знаходиться виключно в постпродакшн-обробці відео: він аналізує тайминг фонем дубльованого аудіо та змінює форму ділянки губ у вихідних матеріалах відповідно до нього. Уявіть це як цільову автоматизовану версію роботи з заміни губ, яку студії візуальних ефектів виконують вручну у високобюджетних виробництвах, — але у масштабах стримінгу.
Для авторів AI-відео ця відмінність має практичне значення. Подібні інструменти — це по суті моделі перенацілювання губ, що працюють із наявним відео, — техніка, яка перетинається з вузлами повторного відтворення обличчя та синхронізації губ, що вже з'являються у відкритих відеоконвеєрах. Якщо ви експериментували з шарами синхронізації губ у таких інструментах, як генеративні медіафункції Adobe Premiere або окремих моделях повторного відтворення, розгортання Prime Video належить до того самого класу технологій — лише запущеного на конвеєрі мовленнєвого рівня з людським аудіо як драйвером.
Наразі функція є експериментом на одному проєкті. Prime Video не назвав, які шоу будуть наступними, і не вказав терміни. Такий чесний стан речей: один німецький ромком в англійському дубляжі з розмитою обіцянкою розширення.
Вузький запуск має сенс як калібрувальний крок. Якість синхронізації губ надзвичайно легко оцінити глядачам — будь-яке надмірне коригування, що робить актора схожим на гумову ляльку, миттєво викличе негативну реакцію. Початок із серіалу, що вже має залучену міжнародну аудиторію, дає Amazon реальний майданчик для тестування з відносно обмеженим ризиком.
Prime Video обрав Maxton Hall — німецький серіал із широкою міжнародною аудиторією — як майданчик для тестування AI-синхронізації губ.
Зображення: The Verge / The Verge AI
Для авторів, що створюють багатомовний відеоконтент — наприклад, актор озвучення, який дублює короткі AI-згенеровані кліпи другою мовою, — це сигнал: автоматизоване перенацілювання рухів губ стрімко переходить із дослідницьких демонстрацій у виробничі конвеєри. Розрив між «Prime Video може це робити» і «плагін може це робити» скорочується вже два роки. Якщо ви вже генеруєте анімацію персонажів і накладаєте діалоги, практичним наступним кроком є стеження за відкритими моделями перенацілювання губ — базова техніка більше не є екзотичною.
Крок Prime Video також підкреслює ширшу закономірність: найстійкіші AI-інтеграції у відеовиробництві — це ті, що зберігають людську творчу роботу — тут голосове виконання — у центрі, тоді як AI вирішує механічну задачу вирівнювання. Це корисна рамка для кожного, хто вирішує, де застосовувати генерацію, а де — автоматизацію у власному робочому процесі.