Seed Audio 1.5: terjemah dan alih suara video dengan suara yang sama
Satu model untuk suara, kesan bunyi dan muzik, dipandu oleh video anda
Seed Audio 1.5 ialah model audio terbaharu ByteDance. Ia menerima video, mendengarnya, lalu menulis runut bunyi baharu: narator yang sama bercakap dalam bahasa Jepun, alih suara yang mengikut visual, atau suara, muzik dan kesan bunyi yang diasingkan kepada trek berasingan. Kami menggunakannya dalam akses awal untuk menterjemah filem animasi 9 minit ke 12 bahasa. Inilah yang berjaya dilakukannya, di mana ia tersasar, dan cara mendapatkan hasil yang sama. Anda juga boleh menterjemah ke bahasa Melayu.
Doitong ialah platform bebas dan tidak berafiliasi dengan ByteDance.
Ujian kami: satu filem, 12 bahasa, narator yang sama
Kami mengambil “The Last Ordinary Day in Pompeii”, sebuah filem sejarah animasi 9 minit dengan narasi bahasa Inggeris, dan memprosesnya melalui terjemahan video Seed Audio 1.5 sekali bagi setiap bahasa. Mainkan video dan buka Tetapan → Trek audio untuk bertukar antara bahasa Inggeris asal dan 12 terjemahan.
Trek audio pada video ini: Inggeris (asal) serta Rusia, Jerman, Perancis, Sepanyol (Sepanyol), Itali, Jepun, Korea, Belanda, Sweden, Denmark, Norway dan Finland.
- Panjang filem
- 9:00
- Bahasa
- 12
- Masa setiap permintaan
- 2,6–3,3 min
- Perbezaan tempoh
- < 0,03 s
Cara kami menjalankan ujian
Angka di atas datang daripada log kami sendiri, bukan kenyataan akhbar. Tiga perkara ini penting jika anda mahu mengulangi ujian tersebut.
Dipotong pada jeda
Satu permintaan menerima video sepanjang 4 hingga 360 saat, jadi filem 9 minit itu dimasukkan dalam dua bahagian yang dipotong pada jeda semula jadi: 4:43 dan 4:17. Dua belas bahasa bermakna 24 permintaan, dan setiap satu siap dalam 157 hingga 200 saat.
Tempoh kekal sama
Setiap bahagian terjemahan kembali dengan panjang yang sama seperti asal. Bahagian pertama pulang pada 283,26 saat berbanding 283,29 untuk sumber, bahagian kedua pada 256,83 berbanding 256,83, dan angkanya sama dalam setiap bahasa. Narasi baharu terus sepadan dengan visual tanpa perlu diselaraskan semula.
Kami hanya hantar suara
Kami memberi model narasi tanpa muzik, kemudian menggabungkan semula skor dan kesan bunyi kami sendiri. Mengekalkan muzik dan kesan bunyi dalam terjemahan ialah ciri yang dinyatakan bagi model ini, tetapi ujian ini tidak bergantung padanya.
Apa yang boleh dilakukan Seed Audio 1.5
Versi 1.5 ialah model Seed Audio pertama yang menerima video. Perubahan itu sahaja membuka kebanyakan kegunaan di bawah.
Terjemah video dengan suara yang sama
Daripada bahasa Inggeris atau Cina ke 30 bahasa. Suara mengekalkan ciri penutur, dan kesan bunyi serta muzik latar asal kekal di tempatnya sementara hanya pertuturan yang berubah.
Alih suara video daripada keterangan
Berikan video dan huraikan apa yang patut didengar: dialog, suara, kesan bunyi, muzik. Ia menghasilkan audio yang mengikut visual. Ia tidak akan mereka skrip untuk anda.
Asingkan audio kepada stem
Masukkan fail audio dan terima semula suara, kesan bunyi dan muzik sebagai trek berasingan, sehingga enam trek, sedia untuk sesi campuran.
Tambah bunyi pada klip senyap
Minta bunyi persekitaran, derap kaki, pintu, atau latar muzik, dan letakkan setiap satu pada garis masa dengan cap masa dalam prompt.
Klon suara
Sehingga enam klip rujukan, setiap satu 2 hingga 30 saat, menentukan timbre suara. Gabungkan rujukan dengan video dan alih suara dituturkan dalam suara tersebut.
Tulis lagu dengan lirik
Muzik sehingga enam minit daripada arahan teks, dengan lirik nyanyian dalam bahasa Inggeris, Cina, Jepun, Korea atau Kantonis.
Had Seed Audio 1.5
Had ini diambil daripada panduan integrasi akses awal ByteDance. Semaklah sebelum anda memotong video.
| Input | Had |
|---|---|
| Panjang video | 4–360 saat setiap permintaan |
| Format video | MP4, MOV |
| Resolusi video | 480p, 720p atau 1080p |
| Saiz fail video | Sehingga 200 MB |
| Klip rujukan suara | Sehingga 6, setiap satu 2–30 s, jumlah 180 s |
| Audio untuk pemisahan stem | Satu fail, 2–360 s, sehingga 90 MB, WAV atau MP3 |
| Output | Nilai |
|---|---|
| Audio terpanjang setiap permintaan | 6 minit |
| Trek stem | Sehingga 6 |
| Format | WAV (lalai), MP3, PCM, OGG Opus |
| Kadar sampel lalai | 44,1 kHz |
| Bahasa untuk pertuturan | 30 |
| Sumber terjemahan video | Inggeris atau Cina, atau dikesan secara automatik |
Sumber: panduan integrasi akses awal Seed Audio 1.5 ByteDance, Oktober 2026. Had mungkin berubah selepas pelancaran.
30 bahasa
Seed Audio 1.5 bertutur dalam bahasa-bahasa ini. Terjemahan video boleh dilakukan daripada bahasa Inggeris atau Cina ke mana-mana bahasa di bawah.
Lirik dalam lagu disokong dalam set yang lebih kecil: Inggeris, Cina, Jepun, Korea dan Kantonis.
Prompt yang berkesan
Panduan prompt ByteDance menghuraikan tiga peringkat: keterangan biasa, skrip yang menetapkan urutan kejadian, dan garis masa dengan saat yang tepat. Mulakan dengan mudah dan tambah cap masa hanya apabila masa penting. Prompt ditulis dalam bahasa Inggeris kerana model mengikut arahan Inggeris dengan lebih baik.
Alih suara biasa
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Syarat dahulu, kemudian suara, kemudian perkataan yang tepat. Menyatakan apa yang tidak boleh muncul sama pentingnya dengan apa yang mesti ada.
Adegan bermasa
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Cap masa meletakkan setiap bunyi pada garis masa, jadi audio sejajar dengan potongan yang telah anda buat.
Perkara yang perlu diberi perhatian
Perkara yang kami temui semasa ujian, dan perkara yang dinyatakan dengan jelas dalam dokumentasi.
- Nama dan perkataan jarang boleh berubah antara satu rakaman dengan yang lain. Dalam terjemahan bahasa Rusia untuk filem ujian kedua kami, yang berlatarkan London pada 1666, perkataan lama untuk bot sungai Thames tersasar dan nama seorang watak berubah bentuk. Terjemahan video menerima glosari, jadi senaraikan nama sebelum anda menjalankannya.
- Alih suara memerlukan keterangan. Seed Audio 1.5 tidak menulis dialog sendiri; beritahu apa yang dituturkan dan apa yang didengar.
- Ia menghasilkan bunyi, bukan pergerakan bibir. Suara terjemahan mengekalkan masa asal, tetapi mulut pada skrin tidak dilukis semula.
- Satu permintaan merangkumi sehingga 6 minit. Video yang lebih panjang perlu dipecahkan, dan potongan di tengah ayat boleh didengar, jadi potong pada jeda.
- Terjemahan video bermula daripada bahasa Inggeris atau Cina. Video dalam bahasa lain tidak boleh diterjemah secara langsung.
- Klon hanya suara yang anda berhak menggunakannya.
Soalan Lazim Seed Audio 1.5
Apakah Seed Audio 1.5?
Seed Audio 1.5 ialah model penjanaan audio daripada ByteDance, dilancarkan pada 28 Oktober 2026. Ia menghasilkan pertuturan, kesan bunyi dan muzik sekali gus, dan merupakan versi Seed Audio pertama yang menerima video, yang membolehkan alih suara video dan terjemahan video dengan suara yang sama.
Bolehkah Seed Audio 1.5 menterjemah video dengan suara yang sama?
Boleh. Terjemahan video menyuarakan semula pertuturan dalam bahasa lain sambil mengekalkan ciri suara penutur, serta mengekalkan kesan bunyi dan muzik asal. Dalam ujian kami, narasi bahasa Inggeris 9 minit dihasilkan semula dalam 12 bahasa, masing-masing sama panjang dengan asal.
Apakah bahasa yang disokong Seed Audio 1.5?
30 bahasa untuk pertuturan, termasuk Inggeris, Cina, Jepun, Korea, Sepanyol (Sepanyol dan Mexico), Portugis (Brazil dan Portugal), Jerman, Perancis, Rusia, Arab dan Hindi. Terjemahan video boleh dilakukan daripada bahasa Inggeris atau Cina ke mana-mana daripada 30 bahasa itu.
Berapa panjang video yang dibenarkan?
Satu permintaan menerima video 4 hingga 360 saat, sehingga 200 MB, dalam 480p, 720p atau 1080p. Untuk filem yang lebih panjang, pecahkan pada jeda dan terjemah bahagiannya satu demi satu, seperti yang kami lakukan dengan filem Pompeii 9 minit.
Berapa lama masa yang diambil untuk satu terjemahan?
Dalam percubaan kami, setiap bahagian sekitar empat setengah minit mengambil masa antara 157 hingga 200 saat bagi setiap bahasa.
Adakah Seed Audio 1.5 menyokong segerak bibir?
Tidak. Ia menjana audio. Suara terjemahan mengikut masa asal, tetapi video itu sendiri, termasuk pergerakan mulut, tidak diubah.
Bolehkah ia mengasingkan vokal, muzik dan kesan bunyi?
Boleh. Berikan fail audio sehingga 6 minit dan ia mengembalikan suara, kesan bunyi dan muzik sebagai trek berasingan, sehingga enam kesemuanya.
Apa yang berubah daripada Seed Audio 1.0?
Seed Audio 1.5 menambah input video, yang membawa alih suara video dan terjemahan video. Ia juga menambah pemisahan stem dan muzik sehingga 6 minit, menerima sehingga enam klip rujukan suara, menghasilkan audio sehingga 6 minit setiap permintaan dan bertutur dalam 30 bahasa.
Adakah Seed Audio 1.5 sama dengan Seed Audio 2.0?
Sesetengah laman menyenaraikan model yang akan datang sebagai Seed Audio 2.0. Dokumentasi akses awal ByteDance menamakannya Seed Audio 1.5, dan itulah nama yang kami gunakan.
Adakah Doitong berafiliasi dengan ByteDance?
Tidak. Doitong ialah platform video AI bebas. Kami mendapat akses awal kepada Seed Audio 1.5 dan menerangkan keputusan kami sendiri di sini.
Apa yang boleh anda lakukan dengan Seed Audio 1.5
Beri video anda suara dalam bahasa lain
Mulakan dengan satu klip pendek, semak nama, kemudian jalankan keseluruhan filem.
Mulakan dalam Doitong