Seed Audio 1.5: 영상을 같은 목소리로 번역하고 더빙하세요
영상을 기반으로 음성, 효과음, 음악을 한 모델로 만들어요
Seed Audio 1.5는 ByteDance의 새로운 오디오 모델이에요. 영상을 보고 듣고 나서 새 사운드트랙을 만들어 줘요. 같은 내레이터가 일본어로 말하게 하거나, 화면에 맞춰 더빙하거나, 음성·음악·효과음을 각각의 트랙으로 분리할 수 있어요. 한국어로도 번역할 수 있고요. 저희는 얼리 액세스로 9분짜리 애니메이션 영화를 12개 언어로 번역해 봤어요. 어떤 결과가 나왔는지, 어디서 아쉬웠는지, 같은 결과를 내려면 어떻게 해야 하는지 소개할게요.
Doitong은 독립 플랫폼이며 ByteDance와 제휴 관계가 아니에요.
테스트: 영화 한 편, 12개 언어, 같은 내레이터
영어 내레이션이 입혀진 9분짜리 애니메이션 역사 영화 “The Last Ordinary Day in Pompeii”를 언어별로 한 번씩 Seed Audio 1.5 영상 번역에 돌렸어요. 영상을 재생하고 설정 → 오디오 트랙에서 영어 원본과 12개 번역 음성을 바꿔 들어 보세요. 한국어 트랙으로 전환해서 들어볼 수도 있어요.
이 영상의 오디오 트랙: 영어(원본), 러시아어, 독일어, 프랑스어, 스페인어(스페인), 이탈리아어, 일본어, 한국어, 네덜란드어, 스웨덴어, 덴마크어, 노르웨이어, 핀란드어.
- 영화 길이
- 9:00
- 언어 수
- 12
- 요청당 소요 시간
- 2.6–3.3분
- 길이 차이
- 0.03초 미만
테스트 진행 방식
위의 수치는 보도자료가 아니라 저희 로그에서 가져왔어요. 똑같이 해 보려면 알아 둘 점이 세 가지 있어요.
무음 구간에서 나누기
요청 한 번에 4초에서 360초 길이의 영상을 넣을 수 있어서, 9분짜리 영화는 자연스러운 무음 구간에서 4:43과 4:17 두 부분으로 잘라 넣었어요. 12개 언어이니 요청은 총 24번이고, 요청마다 157초에서 200초 사이에 결과가 돌아왔어요.
길이가 그대로 유지됐어요
번역된 모든 파트가 원본과 같은 길이로 돌아왔어요. 1부는 원본 283.29초에 대해 283.26초, 2부는 256.83초에 대해 256.83초였고, 모든 언어에서 수치가 같았어요. 새 내레이션이 타이밍 조정 없이 화면에 그대로 맞았어요.
음성만 보냈어요
음악 없이 내레이션만 모델에 넣고, 음악과 효과음은 나중에 직접 다시 믹싱했어요. 번역 과정에서 음악과 효과음을 유지하는 건 모델의 공식 기능이지만, 이번 테스트에서는 그 기능에 의존하지 않았어요.
Seed Audio 1.5로 할 수 있는 일
1.5는 영상을 입력으로 받는 첫 번째 Seed Audio 모델이에요. 이 변화 하나로 아래 작업 대부분이 가능해졌어요.
같은 목소리로 영상 번역
영어나 중국어에서 30개 언어로 번역해요. 화자의 목소리 특성은 그대로 유지되고, 원래의 효과음과 배경음악도 그대로 두고 말소리만 바뀌어요.
설명만으로 영상 더빙
영상을 주고 들려야 할 소리를 설명하세요. 대사, 목소리, 효과음, 음악까지요. 그러면 화면에 맞는 오디오를 만들어 줘요. 다만 대본을 대신 지어 주지는 않아요.
음성 복제
2~30초 길이의 레퍼런스 클립을 최대 6개까지 넣어 음색을 정해요. 레퍼런스와 영상을 함께 쓰면 그 목소리로 더빙돼요.
가사가 있는 노래 만들기
텍스트 설명만으로 최대 6분 길이의 음악을 만들 수 있고, 영어, 중국어, 일본어, 한국어, 광둥어 가사를 노래로 불러 줘요.
Seed Audio 1.5 제한 사항
ByteDance의 얼리 액세스 연동 가이드에 나온 제한 사항이에요. 영상을 자르기 전에 확인하세요.
| 입력 | 제한 |
|---|---|
| 영상 길이 | 요청당 4~360초 |
| 영상 형식 | MP4, MOV |
| 영상 해상도 | 480p, 720p, 1080p |
| 영상 파일 크기 | 최대 200MB |
| 음성 레퍼런스 클립 | 최대 6개, 각 2~30초, 총 180초 |
| 스템 분리용 오디오 | 파일 1개, 2~360초, 최대 90MB, WAV 또는 MP3 |
| 출력 | 값 |
|---|---|
| 요청당 최대 오디오 길이 | 6분 |
| 스템 트랙 | 최대 6개 |
| 형식 | WAV(기본), MP3, PCM, OGG Opus |
| 기본 샘플링 레이트 | 44.1kHz |
| 음성 지원 언어 | 30개 |
| 영상 번역 원본 언어 | 영어 또는 중국어, 또는 자동 감지 |
출처: ByteDance Seed Audio 1.5 얼리 액세스 연동 가이드, 2026년 10월. 정식 출시 후 제한 사항이 바뀔 수 있어요.
30개 언어
Seed Audio 1.5가 말할 수 있는 언어예요. 영상 번역은 영어나 중국어에서 아래 어느 언어로든 가능해요.
노래 가사는 영어, 중국어, 일본어, 한국어, 광둥어로 더 좁은 범위에서만 지원돼요.
효과적인 프롬프트
ByteDance의 프롬프트 가이드는 세 단계를 설명해요. 평범한 설명, 사건의 순서를 정하는 스크립트, 정확한 초 단위의 타임라인이에요. 평범한 설명으로 시작하고, 타이밍이 중요한 곳에만 타임스탬프를 더하세요. 프롬프트 예시는 영어 그대로 두었어요. 모델이 영어 지시를 가장 잘 따르기 때문이에요.
기본 보이스오버
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
제약 조건을 먼저, 그다음 목소리, 마지막에 정확한 문장을 적어요. 나오면 안 되는 소리를 알려 주는 것도 나와야 할 소리만큼 중요해요.
타임라인이 있는 장면
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
타임스탬프가 각 소리를 타임라인 위에 배치하므로, 이미 편집해 둔 컷에 오디오를 정확히 맞출 수 있어요.
주의할 점
테스트에서 직접 겪은 점과 문서에 분명하게 나와 있는 점이에요.
- 이름이나 드문 단어는 생성할 때마다 달라질 수 있어요. 1666년 런던이 배경인 두 번째 테스트 영화의 러시아어 번역에서는 템스강 나룻배를 뜻하는 옛 단어가 잘못 나왔고, 등장인물 한 명의 이름 형태가 바뀌었어요. 영상 번역은 용어집을 지원하니, 실행 전에 이름을 목록으로 정리해 두세요.
- 더빙에는 설명이 필요해요. Seed Audio 1.5는 대사를 스스로 쓰지 않아요. 무슨 말을 하는지, 무슨 소리가 들리는지 알려 주세요.
- 소리만 만들고 입 모양은 만들지 않아요. 번역된 음성은 원본의 타이밍을 따르지만, 화면 속 입 모양은 다시 그려지지 않아요.
- 요청 한 번에 최대 6분까지예요. 더 긴 영상은 나눠야 하고, 문장 중간을 자르면 티가 나니 무음 구간에서 자르세요.
- 영상 번역은 영어나 중국어에서 시작해요. 다른 언어의 영상은 바로 번역할 수 없어요.
- 사용할 권리가 있는 목소리만 복제하세요.
Seed Audio 1.5 자주 묻는 질문
Seed Audio 1.5란 무엇인가요?
Seed Audio 1.5는 2026년 10월 28일에 출시된 ByteDance의 오디오 생성 모델이에요. 음성, 효과음, 음악을 한 번에 만들어 내고, 영상을 입력으로 받는 첫 번째 Seed Audio 버전이라 영상 더빙과 같은 목소리 영상 번역이 가능해요.
Seed Audio 1.5로 영상을 같은 목소리로 번역할 수 있나요?
네. 영상 번역은 화자의 목소리 특성을 유지한 채 다른 언어로 음성을 다시 입히고, 원래의 효과음과 음악도 그대로 둬요. 저희 테스트에서는 9분짜리 영어 내레이션이 12개 언어로 돌아왔고, 각각 원본과 길이가 같았어요.
Seed Audio 1.5는 어떤 언어를 지원하나요?
음성은 30개 언어를 지원해요. 영어, 중국어, 일본어, 한국어, 스페인어(스페인, 멕시코), 포르투갈어(브라질, 포르투갈), 독일어, 프랑스어, 러시아어, 아랍어, 힌디어 등이 포함돼요. 영상 번역은 영어나 중국어에서 30개 언어 중 어디로든 가능해요.
영상은 얼마나 길어도 되나요?
요청 한 번에 4초에서 360초 길이, 최대 200MB, 480p, 720p, 1080p 영상을 넣을 수 있어요. 더 긴 영화는 저희가 9분짜리 폼페이 영화에서 했던 것처럼 무음 구간에서 나눠 파트별로 번역하세요.
번역에는 시간이 얼마나 걸리나요?
저희가 돌려 본 결과, 약 4분 30초 분량의 파트 하나가 언어당 157초에서 200초 걸렸어요.
Seed Audio 1.5는 립싱크를 지원하나요?
아니요. 오디오만 생성해요. 번역된 음성은 원본의 타이밍을 따르지만, 입 모양을 포함한 영상 자체는 바뀌지 않아요.
보컬, 음악, 효과음을 분리할 수 있나요?
네. 최대 6분 길이의 오디오 파일을 넣으면 음성, 효과음, 음악을 최대 6개의 개별 트랙으로 돌려줘요.
Seed Audio 1.0과 무엇이 달라졌나요?
Seed Audio 1.5는 영상 입력이 추가됐고, 덕분에 영상 더빙과 영상 번역이 가능해졌어요. 스템 분리와 최대 6분 길이의 음악도 추가됐고, 음성 레퍼런스 클립을 최대 6개까지 받고, 요청당 최대 6분의 오디오를 만들며, 30개 언어를 말해요.
Seed Audio 1.5와 Seed Audio 2.0은 같은 모델인가요?
일부 사이트에서는 곧 나올 이 모델을 Seed Audio 2.0이라고 소개해요. 하지만 ByteDance의 얼리 액세스 문서에는 Seed Audio 1.5라고 되어 있어서, 저희도 이 이름을 사용해요.
Doitong은 ByteDance와 제휴 관계인가요?
아니요. Doitong은 독립적인 AI 비디오 플랫폼이에요. Seed Audio 1.5를 얼리 액세스로 먼저 써 보았고, 여기서는 저희가 직접 얻은 결과를 소개해요.