Theo는 AI 뉴스를 오늘 밤 바로 시도해볼 수 있는 것들로 바꿔 드립니다.
이 이야기에서 영감을 받으셨나요? 그 아이디어를 단 몇 초 만에 나만의 AI 아트로 만들어 보세요. 무료로 시작할 수 있고, 카드 등록도 필요 없습니다.
무료로 만들기 시작컴패니언을 선택하고 이 소식에 대한 생각을 들어보세요
Amazon Prime Video가 AI 립싱크 기능을 출시했습니다. 이 기능은 화면 속 배우의 입 움직임을 디지털로 재형성해 인간 더빙 오디오와 일치시키며, 독일 로맨틱 드라마 Maxton Hall의 영어 더빙에 처음 적용됩니다.
Maxton Hall은 영어 버전에 AI 립싱크 더빙이 적용된 첫 번째 Prime Video 타이틀입니다.
기존 더빙은 눈에 띄는 이음새를 남깁니다. 배우의 입술은 독일어 음절을 형성하는데 사운드트랙은 영어를 전달하며, 뇌는 몇 초 안에 그 불일치를 감지합니다. Prime Video의 시스템은 비디오 레이어에서 그 이음새를 공략해, 인간 성우 퍼포먼스는 그대로 유지하면서 입 형태를 변형해 대체 음소에 맞춥니다. 제대로 작동한다면, 그 결과는 시청자가 모국어 제작물에서 기대하는 매끄러운 싱크에 가까워집니다.
파이프라인에 대해 정확히 짚어볼 필요가 있습니다. 음성 트랙은 여전히 인간 더빙 아티스트가 녹음하며, Prime Video는 합성 음성을 생성하지 않습니다. AI 단계는 전적으로 후반 작업 영상 처리에 위치합니다. 더빙 오디오의 음소 타이밍을 분석하고, 소스 영상의 입 부분을 그에 맞게 재형성하는 것입니다. 이는 고예산 제작에서 시각 효과 스튜디오가 수작업으로 진행하는 입 교체 작업을 자동화해 스트리밍 규모에 적용한 것으로 볼 수 있습니다.
AI 비디오 크리에이터에게 이 구분은 실질적으로 중요합니다. 이러한 도구는 본질적으로 기존 영상에서 작동하는 입 리타겟팅 모델이며, 오픈소스 비디오 파이프라인에 이미 등장하고 있는 페이스 리인액트먼트 및 립싱크 노드와 겹치는 기술입니다. Adobe Premiere의 생성형 미디어 기능이나 독립형 리인액트먼트 모델에서 립싱크 레이어를 실험해본 적이 있다면, Prime Video의 배포는 동일한 계열의 기술입니다. 다만 인간 오디오를 드라이버로 삼아 방송 수준의 파이프라인에서 구동된다는 점이 다릅니다.
현재 이 기능은 단일 타이틀 실험입니다. Prime Video는 다음에 어떤 작품이 적용될지, 일정이 언제인지 밝히지 않았습니다. 솔직히 말하면 현재 상황은 이렇습니다. 영어 더빙의 독일 로맨틱 코미디 한 편, 그리고 막연한 확대 약속.
좁은 범위의 출시는 보정 단계로서 합리적입니다. 립싱크 품질은 시청자가 판단하기 매우 쉽습니다. 배우가 고무처럼 보이게 만드는 과도한 보정은 즉각적인 반발을 불러올 것입니다. 이미 열성적인 국제 팬층을 보유한 시리즈로 시작함으로써, Amazon은 비교적 제한된 리스크 안에서 실제 테스트 환경을 확보한 셈입니다.
Prime Video는 강력한 국제 팬층을 보유한 독일 시리즈 Maxton Hall을 AI 립싱크 출시의 테스트베드로 선택했습니다.
다국어 영상 콘텐츠를 제작하는 크리에이터, 예를 들어 AI 생성 단편 클립을 제2외국어로 더빙하는 성우 아티스트에게, 이는 자동화된 입 리타겟팅이 연구 데모에서 프로덕션 파이프라인으로 빠르게 이동하고 있다는 신호입니다. 「Prime Video가 할 수 있다」와 「플러그인이 할 수 있다」 사이의 간격은 2년 동안 좁혀지고 있습니다. 이미 캐릭터 애니메이션을 생성하고 대사를 레이어링하고 있다면, 오픈소스 입 리타겟팅 모델에 주목하는 것이 현실적인 다음 단계입니다. 기반 기술은 더 이상 낯선 것이 아닙니다.
Prime Video의 행보는 더 넓은 패턴도 강화합니다. 영상 제작에서 가장 지속 가능한 AI 통합은 인간의 창의적 작업, 여기서는 음성 퍼포먼스를 중심에 두고 AI가 기계적 정렬 문제를 처리하는 방식입니다. 이는 자신의 워크플로에서 생성을 적용할 곳과 자동화를 적용할 곳을 결정하는 누구에게나 유용한 프레임입니다.
