화면에 맞춰 더빙하는 AI 영상 더빙
설명 하나로 목소리, 효과음, 음악까지
대부분의 AI 음성 도구는 영상과 상관없이 텍스트만 읽어 주기 때문에, 편집에 맞추는 일은 직접 해야 합니다. Seed Audio 1.5는 영상을 직접 봅니다. 누가 말하는지, 무슨 말을 하는지, 공간에서 어떤 소리가 나는지, 음악이 어떻게 흐르는지 설명하면 화면에 맞춰 타이밍이 잡힌 사운드트랙 하나를 만들어 줍니다. 한국어를 포함한 30개 언어로 더빙할 수 있습니다.
대사는 직접 쓰세요. 모델이 효과음과 음악을 더해 화면에 맞춰 연기합니다.
더빙 방법 세 가지
ByteDance는 세 가지 영상 모드를 공개하고 있습니다. 목소리를 얼마나 세밀하게 제어하고 싶은지에 따라 고르세요.
영상과 설명
모델이 장면을 읽고, 입력한 텍스트대로 대사, 목소리 유형, 효과음, 배경 음악을 입힙니다.
영상, 설명, 목소리
참조 클립을 추가하면 그 목소리로 대사가 나옵니다. 타이밍은 영상이, 음색은 참조 클립이 정합니다.
더빙이 빛을 발하는 경우
AI로 만든 영상
영상 생성 모델의 클립은 소리가 없거나 추측으로 만든 사운드트랙이 붙어 나오는 경우가 많습니다. 장면에 정말 필요한 대사와 분위기를 입혀 보세요.
현장 녹음이 좋지 않을 때
ByteDance도 저품질 오디오 개선을 활용 사례로 꼽습니다. 잡음과 씨름하는 대신 장면을 깨끗하게 다시 연기하게 하세요.
숏드라마와 시리즈
같은 참조 클립을 계속 사용하면 에피소드가 바뀌어도 캐릭터의 목소리가 일정하게 유지됩니다.
광고와 프로모션
내레이션, 제품 소리, 음악 효과를 프레임 단위로 맞추고, 다음 시장을 위해 언어만 바꾸세요.
Seed Audio 1.5로 영상 더빙하는 방법
컷 준비하기
MP4 또는 MOV, 4~360초, 480p~1080p, 최대 200MB. 최종 편집본으로 더빙하세요. 컷이 바뀌면 타이밍도 달라집니다.
들려야 할 소리 쓰기
대사는 따옴표 안에, 각 목소리는 짧게 묘사하고, 그다음 효과음과 음악을 적으세요. 모델은 대사를 지어내지 않으므로 말해야 할 내용은 모두 프롬프트에 넣어야 합니다.
중요한 곳에 타이밍 지정하기
컷에 정확히 맞아야 하는 대사와 효과음에는 [2.0s:6.5s] 같은 타임스탬프를 쓰세요. 나머지는 모델에 맡기면 됩니다.
필요하면 목소리 참조 추가하기
2~30초 길이의 클립을 최대 6개까지 쓸 수 있습니다. 한 캐릭터가 말할 때마다 같은 클립을 사용하세요.
프롬프트 예시
ByteDance의 프롬프트 가이드는 무엇이 들리는지, 어떻게 들리는지, 무엇이 들리면 안 되는지를 쓰라고 권합니다. 프롬프트는 영어로 쓸 때 가장 잘 따르므로 영어 그대로 두었습니다.
비 오는 거리의 두 사람
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
화자마다 대사 앞에 한 줄 묘사와 감정을 붙입니다.
타이밍이 정확한 제품 샷
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
타임스탬프 덕분에 뚜껑이 열리는 프레임에 딸깍 소리가 정확히 맞습니다.
시작하기 전에
- 모델은 대본을 써 주지 않습니다. 프롬프트에 설명이 없는 영상에는 계획된 대사가 들어가지 않습니다.
- 오디오만 만듭니다. 화면 속 입 모양은 바뀌지 않으므로, 대사는 와이드 샷, 뒷모습, 내레이션, 애니메이션에서 가장 잘 어울립니다.
- 한 번에 최대 6분 분량의 오디오를 만들 수 있습니다. 더 긴 영화는 장면별로 나눠 더빙하세요.
- 목소리 참조는 화자의 허락을 받은 경우에만 사용하세요.
AI 영상 더빙 자주 묻는 질문
AI 영상 더빙이란 무엇인가요?
AI로 영상의 사운드트랙(대사, 보이스오버, 효과음, 음악)을 화면 속 상황에 맞춰 생성하는 것입니다. Seed Audio 1.5에서는 소리를 설명하면 모델이 한 번에 만들어 줍니다.
Seed Audio 1.5가 대사도 대신 써 주나요?
아니요. ByteDance도 자동 더빙은 지원하지 않는다고 분명히 밝히고 있습니다. 대사와 소리 설명은 직접 입력하고, 모델은 그것을 연기하고 타이밍을 맞춥니다.
특정 목소리로 더빙할 수 있나요?
네. 2~30초 길이의 참조 클립을 추가하면 그 목소리로 대사가 나오고, 타이밍은 영상이 정합니다. 한 번의 요청에 참조를 최대 6개까지 사용할 수 있습니다.
영어 외의 언어로도 더빙할 수 있나요?
네. Seed Audio 1.5는 일본어, 한국어부터 폴란드어, 튀르키예어, 힌디어까지 30개 언어를 구사합니다.
더빙과 영상 번역은 어떻게 다른가요?
더빙은 입력한 설명을 바탕으로 새 사운드트랙을 만듭니다. 영상 번역은 영어나 중국어로 이미 녹음된 음성을 같은 목소리로 다른 언어로 다시 녹음합니다.