Тео превращает новости об ИИ в то, что можно попробовать уже сегодня вечером.
Вдохновила эта история? Преврати идею в собственное ИИ-искусство за секунды — бесплатный старт, без банковской карты.
Начать бесплатноВыбери компаньона и узнай его мнение об этой истории
Amazon Prime Video запустил функцию ИИ-синхронизации губ, которая цифровым способом изменяет движения рта актёров на экране в соответствии с озвучкой, выполненной людьми, — первой стала английская версия немецкой романтической драмы Maxton Hall.
Maxton Hall стал первым проектом Prime Video, получившим ИИ-синхронизацию губ в английской версии.
Изображение: The Verge / The Verge AI
Традиционная озвучка оставляет заметный шов: губы актёра складываются в немецкие слоги, а из динамиков звучит английская речь — и мозг фиксирует это несоответствие за считанные секунды. Система Prime Video атакует этот шов на уровне видео, деформируя геометрию рта под заменяемые фонемы, не затрагивая живое голосовое исполнение. Результат, если технология работает так, как заявлено, приближается к той бесшовной синхронизации, которую зрители ожидают от оригинальных производств.
Стоит точно описать конвейер. Голосовая дорожка по-прежнему записывается живыми актёрами дубляжа; Prime Video не генерирует синтетическую речь. Шаг с применением ИИ целиком находится в постпродакшн-обработке видео: система анализирует тайминг фонем дублированного аудио и изменяет форму области рта в исходных кадрах в соответствии с ним. Это можно представить как целевую автоматизированную версию ручной замены рта, которую студии визуальных эффектов выполняют вручную в высокобюджетных производствах, — но применённую в масштабах стриминга.
Для авторов ИИ-видео это различие имеет практическое значение. Подобные инструменты — по сути, модели перенацеливания рта, работающие с готовым видео: техника, пересекающаяся с узлами reenactment лица и синхронизации губ, уже появившимися в открытых видеоконвейерах. Если вы экспериментировали со слоями синхронизации губ в таких инструментах, как генеративные медиафункции Adobe Premiere или автономные модели reenactment, то внедрение Prime Video относится к тому же классу технологий — только работающих на конвейере вещательного уровня с живым аудио в качестве источника.
Пока функция представляет собой эксперимент на одном проекте. Prime Video не назвал следующие сериалы и не обозначил сроков. Таково честное положение дел: одна немецкая романтическая комедия в английской озвучке и расплывчатое обещание расширения.
Узкий запуск выглядит логичным калибровочным шагом. Качество синхронизации губ зрители оценивают безжалостно — любая чрезмерная коррекция, придающая актёру «резиновый» вид, немедленно вызовет волну критики. Начало с сериала, у которого уже есть преданная международная аудитория, даёт Amazon реальную тестовую площадку с относительно ограниченными рисками.
Prime Video выбрал Maxton Hall — немецкий сериал с широкой международной аудиторией — в качестве тестовой площадки для развёртывания ИИ-синхронизации губ.
Изображение: The Verge / The Verge AI
Для авторов, создающих многоязычный видеоконтент — например, актёров озвучки, дублирующих короткие ИИ-сгенерированные ролики на второй язык, — это сигнал: автоматическое перенацеливание рта стремительно переходит из исследовательских демонстраций в производственные конвейеры. Разрыв между «Prime Video умеет это делать» и «плагин умеет это делать» сокращается уже два года. Если вы уже генерируете анимацию персонажей и накладываете диалоги, практичным следующим шагом будет следить за открытыми моделями перенацеливания рта: лежащая в основе техника больше не является экзотикой.
Шаг Prime Video также подтверждает более широкую закономерность: наиболее устойчивые интеграции ИИ в видеопроизводстве — те, в которых творческий труд человека — здесь это голосовое исполнение — остаётся в центре, а ИИ берёт на себя механическую задачу выравнивания. Это полезная рамка для всех, кто решает, где в своём рабочем процессе применять генерацию, а где — автоматизацию.
