Seed Audio 1.5: išverskite ir įgarsinkite vaizdo įrašus tuo pačiu balsu
Vienas modelis balsui, garso efektams ir muzikai, valdomas pagal jūsų vaizdo įrašą
Seed Audio 1.5 – naujas ByteDance garso modelis. Jis gauna vaizdo įrašą, jo „išklauso“ ir sukuria naują garso takelį: tas pats diktorius kalba japoniškai, dubliuotas garsas seka vaizdą arba balsas, muzika ir efektai atskiriami į atskirus takelius. Ankstyvosios prieigos metu su juo išvertėme 9 minučių trukmės animacinį filmą į 12 kalbų. Štai ką modelis padarė, kur suklydo ir kaip pasiekti tokį patį rezultatą.
Doitong yra nepriklausoma platforma ir nėra susijusi su ByteDance.
Mūsų testas: vienas filmas, 12 kalbų, tas pats diktorius
Paėmėme „The Last Ordinary Day in Pompeii“ – 9 minučių trukmės animacinį istorinį filmą su angliška pasakotojo kalba – ir kiekvienai kalbai atskirai paleidome per Seed Audio 1.5 vaizdo įrašų vertimą. Paleiskite vaizdo įrašą ir atidarę Nustatymai → Garso takelis perjunkite tarp angliško originalo ir 12 vertimų.
Šio vaizdo įrašo garso takeliai: anglų (originalas) ir rusų, vokiečių, prancūzų, ispanų (Ispanija), italų, japonų, korėjiečių, olandų, švedų, danų, norvegų bei suomių.
- Filmo trukmė
- 9:00
- Kalbų
- 12
- Laikas vienai užklausai
- 2,6–3,3 min.
- Trukmės skirtumas
- < 0,03 s
Kaip atlikome testą
Aukščiau pateikti skaičiai paimti iš mūsų pačių žurnalų, o ne iš pranešimo spaudai. Jei norite testą pakartoti, svarbios trys detalės.
Skaidymas pauzėje
Viena užklausa priima 4–360 sekundžių trukmės vaizdo įrašą, todėl 9 minučių filmą padalijome į dvi dalis natūralioje pauzėje: 4:43 ir 4:17. 12 kalbų reiškė 24 užklausas, o kiekvienas atsakymas atkeliavo per 157–200 sekundžių.
Trukmė nesikeitė
Kiekviena išversta dalis grįžo tokios pat trukmės kaip originalas. Pirma dalis – 283,26 sekundės, šaltinio – 283,29; antra dalis – 256,83 prieš 256,83, ir tie patys skaičiai gauti visomis kalbomis. Naujas pasakojimas atsistojo ant vaizdo be jokio papildomo derinimo laike.
Siuntėme tik balsą
Modeliui pateikėme pasakotojo balsą be muzikos, o savo muziką ir efektus įmaišėme po vertimo. Muzikos ir efektų išsaugojimas vertime – deklaruota modelio galimybė, tačiau šiame teste ja nesiremėme.
Ką gali Seed Audio 1.5
1.5 versija – pirmasis Seed Audio modelis, priimantis vaizdo įrašą. Vien dėl šio pokyčio tampa įmanoma dauguma toliau aprašytų darbų.
Vaizdo įrašo vertimas tuo pačiu balsu
Iš anglų ar kinų kalbos į 30 kalbų. Balsas išlaiko kalbėtojo charakterį, originalūs efektai ir foninė muzika lieka vietoje, keičiasi tik kalba.
Vaizdo įrašo dubliavimas pagal aprašymą
Pateikite vaizdo įrašą ir aprašykite, ką turi būti girdėti: replikas, balsus, efektus, muziką. Modelis sukuria garsą, kuris seka vaizdą. Scenarijaus už jus jis nesugalvos.
Garso atskyrimas į takelius
Pateikite garso failą ir gaukite balsus, efektus bei muziką atskirais takeliais – iki šešių, paruoštų miksavimui.
Nebylaus klipo įgarsinimas
Paprašykite aplinkos garsų, žingsnių, durų, muzikos pagrindo ir išdėliokite kiekvieną jų laiko ašyje, nurodydami laiko žymes užklausoje.
Balso klonavimas
Iki šešių pavyzdinių 2–30 sekundžių įrašų nustato balso tembrą. Sujungus pavyzdį su vaizdo įrašu, dubliuotas garsas skamba tuo balsu.
Dainos su žodžiais
Iki šešių minučių trukmės muzika pagal tekstinį aprašymą, su dainuojamais žodžiais anglų, kinų, japonų, korėjiečių ar kantoniečių kalba.
Seed Audio 1.5 ribos
Ribos paimtos iš ByteDance ankstyvosios prieigos integravimo vadovo. Patikrinkite jas prieš karpydami vaizdo įrašą.
| Įvestis | Riba |
|---|---|
| Vaizdo įrašo trukmė | 4–360 sekundžių vienai užklausai |
| Vaizdo formatai | MP4, MOV |
| Vaizdo skiriamoji geba | 480p, 720p arba 1080p |
| Vaizdo failo dydis | Iki 200 MB |
| Balso pavyzdiniai įrašai | Iki 6, po 2–30 s, iš viso 180 s |
| Garsas atskyrimui į takelius | Vienas failas, 2–360 s, iki 90 MB, WAV arba MP3 |
| Išvestis | Reikšmė |
|---|---|
| Ilgiausias garsas vienai užklausai | 6 minutės |
| Atskirų takelių skaičius | Iki 6 |
| Formatai | WAV (numatytasis), MP3, PCM, OGG Opus |
| Numatytasis diskretizavimo dažnis | 44,1 kHz |
| Kalbos, kuriomis kalbama | 30 |
| Vaizdo įrašo vertimo šaltinis | Anglų arba kinų kalba, arba nustatoma automatiškai |
Šaltinis: ByteDance Seed Audio 1.5 ankstyvosios prieigos integravimo vadovas, 2026 m. spalis. Po išleidimo ribos gali keistis.
30 kalbų
Seed Audio 1.5 kalba šiomis kalbomis. Vaizdo įrašų vertimas atliekamas iš anglų arba kinų kalbos į bet kurią iš jų.
Dainų žodžiai palaikomi siauresniu kalbų rinkiniu: anglų, kinų, japonų, korėjiečių ir kantoniečių.
Veikiančios užklausos
ByteDance nurodymų vadove aprašyti trys lygiai: paprastas aprašymas, scenarijus, nustatantis įvykių eilę, ir laiko juosta su tiksliomis sekundėmis. Pradėkite nuo paprasto aprašymo, o laiko žymes pridėkite tik ten, kur svarbus laikas. Pavyzdžiai lieka anglų kalba, nes modelis geriausiai supranta angliškus nurodymus.
Paprastas balso įgarsinimas
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Pirmiausia apribojimai, tada balsas, tada tikslūs žodžiai. Pasakyti, ko neturi būti, yra tiek pat svarbu, kiek pasakyti, kas turi būti.
Scena pagal laiką
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Laiko žymės išdėlioja kiekvieną garsą laiko ašyje, todėl garsas sutampa su jau padarytais montažo kirpimais.
Į ką atkreipti dėmesį
Su kuo susidūrėme testuodami ir ką aiškiai nurodo dokumentacija.
- Vardai ir reti žodžiai skirtinguose bandymuose gali „plaukti“. Rusiškame antro testinio filmo, vykstančio Londone 1666 metais, vertime senovinis Temzės upės laivelio pavadinimas nuskambėjo neteisingai, o vieno veikėjo vardas pakeitė formą. Vaizdo įrašų vertimas priima žodynėlį, tad prieš paleisdami išvardykite vardus.
- Dubliavimui reikia aprašymo. Seed Audio 1.5 pats nerašo replikų: pasakykite, kas kalbama ir kas girdima.
- Modelis kuria garsą, o ne lūpų judesius. Išverstas balsas išlaiko originalo laiką, bet burnos ekrane nepakeičiamos.
- Viena užklausa apima iki 6 minučių. Ilgesnius vaizdo įrašus reikia skaidyti, o kirpimas sakinio viduryje girdimas, todėl karpykite pauzėje.
- Vaizdo įrašo vertimas prasideda nuo anglų arba kinų kalbos. Kita kalba įrašyto vaizdo įrašo tiesiogiai išversti negalima.
- Klonuokite tik tuos balsus, kuriuos turite teisę naudoti.
Seed Audio 1.5 DUK
Ar Seed Audio 1.5 gali išversti ar įgarsinti vaizdo įrašą lietuvių kalba?
Kol kas ne: lietuvių kalbos nėra tarp 30 kalbų, kuriomis Seed Audio 1.5 kalba išleidimo metu. Anglų ar kinų kalba sukurtą vaizdo įrašą galima išversti į kalbas, kurių lietuviškai auditorijai dažnai prireikia, pavyzdžiui, į rusų, lenkų, vokiečių ar prancūzų.
Kas yra Seed Audio 1.5?
Seed Audio 1.5 – ByteDance sukurtas garso generavimo modelis, išleistas 2026 m. spalio 28 d. Jis vienu žingsniu sukuria kalbą, garso efektus ir muziką ir yra pirmoji Seed Audio versija, priimanti vaizdo įrašą, o tai ir leidžia dubliuoti vaizdo įrašus bei versti juos tuo pačiu balsu.
Ar Seed Audio 1.5 išverčia vaizdo įrašą tuo pačiu balsu?
Taip. Vaizdo įrašo vertimas perkuria kalbą kita kalba, išlaikydamas kalbėtojo balso charakterį, taip pat išsaugo originalius garso efektus ir muziką. Mūsų teste 9 minučių trukmės angliškas pasakojimas grįžo 12 kalbų, ir kiekvienas variantas buvo tokios pat trukmės kaip originalas.
Kokias kalbas palaiko Seed Audio 1.5?
30 kalbų kalbai, tarp jų anglų, kinų, japonų, korėjiečių, ispanų (Ispanija ir Meksika), portugalų (Brazilija ir Portugalija), vokiečių, prancūzų, rusų, arabų ir hindi. Vaizdo įrašų vertimas atliekamas iš anglų arba kinų kalbos į bet kurią iš šių 30 kalbų.
Kokio ilgio gali būti vaizdo įrašas?
Viena užklausa priima 4–360 sekundžių trukmės vaizdo įrašą iki 200 MB, 480p, 720p arba 1080p raiškos. Ilgesnį filmą padalykite pauzėse ir išverskite dalis po vieną, kaip padarėme su 9 minučių filmu apie Pompėją.
Kiek laiko trunka vertimas?
Mūsų bandymuose kiekviena maždaug keturių su puse minutės dalis vienai kalbai užtrukdavo nuo 157 iki 200 sekundžių.
Ar Seed Audio 1.5 sinchronizuoja lūpų judesius?
Ne. Modelis generuoja garsą. Išverstas balsas seka originalo laiką, tačiau pats vaizdo įrašas, įskaitant burnos judesius, nekeičiamas.
Ar galima atskirti vokalą, muziką ir garso efektus?
Taip. Pateikite iki 6 minučių trukmės garso failą, ir modelis grąžins balsus, efektus bei muziką atskirais takeliais – iš viso iki šešių.
Kuo Seed Audio 1.5 skiriasi nuo Seed Audio 1.0?
Seed Audio 1.5 prideda vaizdo įrašo įvestį, o tai ir suteikia galimybę dubliuoti bei versti vaizdo įrašus. Taip pat atsirado garso atskyrimas į takelius ir iki 6 minučių trukmės muzika, priimama iki šešių balso pavyzdinių įrašų, vienai užklausai sukuriama iki 6 minučių garso, o kalbama 30 kalbų.
Ar Seed Audio 1.5 yra tas pats, kas Seed Audio 2.0?
Kai kuriose svetainėse būsimas modelis vadinamas Seed Audio 2.0. ByteDance ankstyvosios prieigos dokumentacijoje jis vadinamas Seed Audio 1.5, todėl šį pavadinimą naudojame ir mes.
Ar Doitong susijusi su ByteDance?
Ne. Doitong yra nepriklausoma DI vaizdo įrašų platforma. Turėjome ankstyvąją prieigą prie Seed Audio 1.5 ir čia aprašome savo rezultatus.
Ką galima daryti su Seed Audio 1.5
Suteikite savo vaizdo įrašui balsą viena iš 30 kalbų
Pradėkite nuo vieno trumpo klipo, patikrinkite vardus, tada apdorokite visą filmą.
Pradėti naudoti Doitong