動画を同じ声のまま翻訳
あのナレーターが、日本語・ドイツ語・ヒンディー語で話す
字幕では、視聴者に読んでもらう必要があります。ありがちなAI音声では、別人が話しているように聞こえます。Seed Audio 1.5は、話していた本人の声の特徴を保ったまま、音声を別の言語で話し直します。翻訳後のトラックは元と同じ長さで返ってくるので、映像にそのまま重ねられます。
英語または中国語から、日本語を含む30言語に翻訳できます。
試す前に、まず聴いてみてください
9分の英語の映画を、Seed Audio 1.5で12言語に翻訳しました(制作はDoitongチーム)。再生して、「設定」→「音声トラック」から言語を切り替えてください。どの言語でも同じナレーターの声かどうかに注目して聴いてみてください。日本語トラックもあります。
- 元の言語
- 英語
- 翻訳先の言語
- 12
- リクエスト数
- 24
- 長さの差
- 0.03秒未満
こんな方に向いています
講座・解説動画
講師の声は、授業の一部です。翻訳しても、言葉だけでなく「その人らしさ」が残ります。
商品紹介動画・広告
顧客がすでに知っている出演者のまま、新しい市場でデモ動画を同日に公開できます。
ドキュメンタリー・ストーリー動画
ポンペイのテストのようなナレーション作品は、最も扱いやすいケースです。声は1人、間がはっきりしていて、テンポも一定だからです。
動画を同じ声で翻訳する手順
上の映画で実際に行った順番のとおりです。
元の言語を確認する
動画翻訳に対応するのは、英語または中国語の動画です。どちらかはモデルが自動で判別するので、選ぶのは翻訳先の言語だけです。
長い動画は間(ま)で分割する
1回のリクエストで扱えるのは4〜360秒の動画です。9分の映画は、ナレーターが息継ぎする箇所で4:43と4:17の2つに分けて処理しました。文の途中で切ると、翻訳後の音声でつなぎ目が聞こえてしまいます。
固有名詞や珍しい語をリストにする
翻訳でつまずきやすいのは、固有名詞や古い言葉、専門用語です。リクエストの用語集に登録しておけば、どの言語でも表記がそろいます。
言語ごとに1回ずつ実行する
1回のリクエストで返るのは1言語です。今回のテストでは、約4分半のパートで157〜200秒かかりました。
公開前に聴いて確認する
全言語を最低1回は再生し、冒頭と固有名詞は必ず確認してください。公開前に1語直すほうが、視聴者に指摘されてから直すよりずっと楽です。
トラックを動画に戻す
翻訳後のトラックは元と同じ長さなので、映像にそのまま合わせられます。言語ごとに別の動画として公開することも、1本のYouTube動画にすべてのトラックを追加することもできます。
変わるところと、変わらないところ
| 動画の要素 | 翻訳後 |
|---|---|
| 話している内容 | 翻訳先の言語に翻訳 |
| 声の特徴 | 保持:既成の音声ではなく、同じ話者の声 |
| BGM | 保持 |
| 効果音 | 保持 |
| 長さ | 元と同じ(今回のテストでは差が0.03秒未満) |
| 映像と口の動き | 変更なし:音声の翻訳であり、リップシンクではありません |
BGMと効果音が保持されるというのは、ByteDanceのドキュメントに基づく情報です。今回のテストでは、ナレーションだけを翻訳し、BGMは自分たちでミックスし直しました。
30言語のどれにでも翻訳できます
英語または中国語から、次の言語に翻訳できます。
スペイン語とポルトガル語には、それぞれ2つのバリエーションがあります。視聴者に合わせて、メキシコ式かスペイン(カスティーリャ)式のスペイン語、ブラジル式かヨーロッパ式のポルトガル語を選んでください。
ご利用前に知っておきたい制限
- 元の音声は英語または中国語に限られます。スペイン語の動画を直接翻訳することはできません。
- 1回のリクエストで扱えるのは、4〜360秒、200 MBまでの動画で、解像度は480p、720p、1080pに対応しています。
- 用語集に登録しないと、固有名詞の表記が言語ごとに変わることがあります。
- 画面上の口の動きは描き直されません。話している顔のクローズアップでは違和感が出ますが、ナレーションではほとんど目立ちません。
- 翻訳できるのは、権利をお持ちの動画と声に限ります。
同じ声での動画翻訳についてのよくある質問
AIで動画を翻訳しても、元の声のまま使えますか?
はい。Seed Audio 1.5の動画翻訳は、話者の声の特徴を保ったまま、音声を翻訳先の言語で話し直します。今回のテストでは、12言語のすべてで同じナレーターだと聞き分けられました。
BGMは消えてしまいませんか?
ByteDanceによると、動画翻訳では元のBGMと効果音を残し、音声だけを置き換えます。今回のテストでは、BGMなしのナレーションを送り、BGMは自分たちでミックスし直しました。プロジェクトファイルでBGMが別トラックになっている場合は、この方法も確実です。
翻訳後の音声は、動画と同じ長さになりますか?
今回のテストでは、はい。どの言語でも、各パートは元より短くなった差が0.03秒未満で、タイミング調整は不要でした。
6分を超える動画も翻訳できますか?
はい、分割すれば可能です。1回のリクエストで扱えるのは最大360秒なので、自然な間で動画を分け、それぞれ翻訳してから結果をつなぎます。9分の映画は2つに分けて処理しました。
これはリップシンクですか?
いいえ。翻訳されるのは声で、映像はそのままです。ナレーション、画面録画、ボイスオーバーの動画であれば、これで十分です。
どの言語に翻訳できますか?
30言語に対応しています。スペイン語(スペイン・メキシコ)、ポルトガル語(ブラジル・ポルトガル)、日本語、韓国語、ドイツ語、フランス語、イタリア語、ロシア語、ヒンディー語、アラビア語、トルコ語、ベトナム語などです。元の言語は英語または中国語に限られます。