影片翻譯,保留原聲
讓您的旁白用日文、德文或印地文開口說話
字幕得靠觀眾閱讀,制式的 AI 配音聽起來又像換了一個人。Seed Audio 1.5 會用另一種語言重新配音,同時保留原說話者的聲音。翻譯後的音軌長度與原片相同,可以直接套回畫面。
可從英文或中文翻譯成 30 種語言,英文影片也能翻成中文。
先聽聽看,再決定要不要試
一部 9 分鐘的英文影片,由我們團隊用 Seed Audio 1.5 翻成 12 種語言。播放後,到「設定 → 音軌」切換語言,聽聽每個版本是不是同一位旁白。
- 來源語言
- 英文
- 目標語言
- 12
- 請求次數
- 24
- 長度差距
- < 0.03 秒
適合哪些人使用
課程與解說影片
老師的聲音本身就是課程的一部分。翻譯時保留聲音,留下的就不只是文字,而是那個人。
產品影片與廣告
在新市場同步推出產品示範,由顧客已經熟悉的講者來介紹。
紀錄片與故事影片
有旁白的影片最容易處理,就像我們的龐貝測試:單一聲音、停頓清楚、語速穩定。
如何用原聲翻譯影片
以下就是我們製作上方影片時實際採用的順序。
確認來源語言
影片翻譯的來源語言須為英文或中文。模型能自動判斷是哪一種,您只需要選擇目標語言。
長影片在停頓處切開
每次請求可處理 4 到 360 秒的影片。我們的 9 分鐘影片分成 4:43 和 4:17 兩段,都切在旁白換氣的地方。若在句子中間切開,翻譯後聽得出來。
列出人名與冷僻詞彙
專有名詞、古字詞和專業術語最容易翻錯。請把它們加進請求的詞彙表,各語言版本才會統一。
一次處理一種語言
每次請求只會輸出一種語言。在我們的實測中,約四分半鐘的一段需要 157 到 200 秒。
發布前先聽過
每種語言至少聽一遍,尤其是開頭和人名。上傳前改一個詞,比被觀眾發現後再改省事得多。
把音軌放回影片
翻譯後的音軌與原片等長,可直接對上畫面。您可以為每種語言發布獨立的影片,也可以把所有音軌加進同一支 YouTube 影片。
哪些會變,哪些不變
| 影片內容 | 翻譯後 |
|---|---|
| 口說內容 | 翻譯成目標語言 |
| 聲音特質 | 保留:仍是同一位說話者,而非制式配音 |
| 背景音樂 | 保留 |
| 音效 | 保留 |
| 長度 | 與原片相同(在我們的測試中,差距不到 0.03 秒) |
| 畫面與嘴型 | 不變:這是音訊翻譯,不是對嘴型 |
依據 ByteDance 的文件,音樂與音效會被保留。在我們自己的測試中,是單獨翻譯旁白,再自行把音樂混回去。
可翻譯成 30 種語言
從英文或中文翻譯成:
西班牙文和葡萄牙文各有兩種版本,請選擇您的觀眾使用的那一種:墨西哥或西班牙的西班牙文,巴西或葡萄牙的葡萄牙文。
使用前須知
- 來源語言必須是英文或中文。西班牙文影片無法直接翻譯。
- 每次請求可處理 4 到 360 秒的影片,檔案上限 200 MB,解析度為 480p、720p 或 1080p。
- 除非列入詞彙表,否則人名在不同語言之間可能出現不同寫法。
- 畫面中的嘴型不會重新繪製。說話人臉的特寫鏡頭會看得出對不上;旁白類影片則不會。
- 請只翻譯您擁有權利的影片與聲音。
關於原聲翻譯的常見問題
AI 可以翻譯影片並保留原本的聲音嗎?
可以。Seed Audio 1.5 的影片翻譯會用目標語言重新配音,同時保留說話者的聲音特質。在我們的測試中,12 種語言版本都聽得出是同一位旁白。
背景音樂會不見嗎?
依據 ByteDance 的說明,影片翻譯會保留原本的音樂與音效,只替換人聲。在我們自己的測試中,是送入不含音樂的旁白,再自行把音樂混回去。如果您的專案檔中音樂本來就是獨立音軌,這也是一種穩妥的做法。
翻譯後的音訊長度會和影片一致嗎?
在我們的測試中是一致的:每一段、每種語言輸出的長度,都只比原片短不到 0.03 秒,不需要另外調整時間。
超過 6 分鐘的影片可以翻譯嗎?
可以,需要分段處理。每次請求最長 360 秒,所以請在自然停頓處把影片切開,分別翻譯後再接起來。我們的 9 分鐘影片就是分成兩段處理。
這是對嘴型(lip sync)嗎?
不是。翻譯的只有聲音,畫面維持原樣。對旁白、螢幕錄影和配音類影片來說,這樣就夠了。
可以翻譯成哪些語言?
共 30 種,包括西班牙文(西班牙與墨西哥)、葡萄牙文(巴西與葡萄牙)、日文、韓文、德文、法文、義大利文、俄文、印地文、阿拉伯文、土耳其文和越南文,中文也包含在內。來源語言須為英文或中文。