Seed Audio 1.5: käännä ja dubbaa video samalla äänellä
Yksi malli puheelle, ääniefekteille ja musiikille – videosi ohjaamana
Seed Audio 1.5 on ByteDancen uusi äänimalli. Se ottaa videon, kuuntelee sen ja kirjoittaa sille uuden äänimaailman: sama kertoja puhumassa japania, kuvaa seuraava dubbaus tai puhe, musiikki ja efektit erotettuina omiksi raidoikseen. Käytimme mallia ennakkokäytössä 9 minuutin animaatioelokuvan kääntämiseen 12 kielelle. Tässä näet, mitä se osasi, missä se lipsui ja miten saat saman tuloksen. Videon voi kääntää myös suomeksi.
Doitong on itsenäinen alusta, eikä sillä ole yhteyttä ByteDanceen.
Testimme: yksi elokuva, 12 kieltä, sama kertoja
Otimme “The Last Ordinary Day in Pompeii” -elokuvan, 9 minuutin animoidun historiaelokuvan englanninkielisellä selostuksella, ja ajoimme sen Seed Audio 1.5:n videonkäännöksen läpi kerran kutakin kieltä kohden. Toista video ja vaihda englanninkielisen alkuperäisen ja 12 käännöksen välillä kohdasta Asetukset → Ääniraita. Suomenkielinen raita löytyy samasta valikosta.
Videon äänirait: englanti (alkuperäinen) sekä venäjä, saksa, ranska, espanja (Espanja), italia, japani, korea, hollanti, ruotsi, tanska, norja ja suomi.
- Elokuvan pituus
- 9:00
- Kielet
- 12
- Aika pyyntöä kohden
- 2,6–3,3 min
- Pituusero
- < 0,03 s
Näin ajoimme testin
Yllä olevat luvut tulevat omista lokeistamme, ei lehdistötiedotteesta. Jos haluat toistaa testin, kolme asiaa kannattaa tietää.
Jaa video tauon kohdalta
Yksi pyyntö hyväksyy 4–360 sekunnin videon, joten 9 minuutin elokuva meni läpi kahtena osana, jotka leikattiin luontevan tauon kohdalta: 4:43 ja 4:17. Kahdestatoista kielestä tuli 24 pyyntöä, ja jokainen valmistui 157–200 sekunnissa.
Pituus pysyi samana
Jokainen käännetty osa palasi alkuperäisen pituisena. Ensimmäinen osa oli 283,26 sekuntia, kun lähde oli 283,29, toinen osa 256,83 sekuntia ja lähde 256,83, ja luvut olivat samat kaikilla kielillä. Uusi selostus asettui kuvan päälle ilman uudelleenajoitusta.
Lähetimme pelkän äänen
Annoimme mallille selostuksen ilman musiikkia ja miksasimme oman musiikkimme ja efektimme mukaan jälkikäteen. Musiikin ja efektien säilyttäminen käännöksessä on mallin ilmoitettu ominaisuus, mutta tämä testi ei nojannut siihen.
Mihin Seed Audio 1.5 pystyy
Versio 1.5 on ensimmäinen Seed Audio -malli, joka hyväksyy videon. Tämä yksi muutos mahdollistaa suurimman osan alla olevista töistä.
Käännä video samalla äänellä
Englannista tai kiinasta 30 kielelle. Ääni säilyttää puhujan luonteen, ja alkuperäiset efektit ja taustamusiikki pysyvät paikoillaan, kun vain puhe vaihtuu.
Dubbaa video kuvauksen perusteella
Anna video ja kuvaile, mitä pitäisi kuulua: repliikit, äänet, efektit, musiikki. Malli tuottaa kuvaa seuraavan äänen. Käsikirjoitusta se ei keksi puolestasi.
Erottele ääni stemeiksi
Anna äänitiedosto ja saat puheen, efektit ja musiikin takaisin erillisinä raitoina, enintään kuutena, valmiina miksausta varten.
Äänitä mykkä klippi
Pyydä tunnelmaa, askelia, ovenpaukahdus tai musiikkipohja ja sijoita jokainen aikajanalle promptin aikaleimoilla.
Kloonaa ääni
Enintään kuusi 2–30 sekunnin referenssiklippiä määrittää äänen sävyn. Yhdistä referenssi videoon, niin dubbaus puhutaan tuolla äänellä.
Tee lauluja sanoituksilla
Jopa kuuden minuutin musiikkia tekstikuvauksesta, laulettuina sanoituksina englanti, kiina, japani, korea tai kantoninkiina.
Seed Audio 1.5:n rajat
Rajat ovat peräisin ByteDancen ennakkokäytön integrointioppaasta. Tarkista ne ennen kuin leikkaat videosi.
| Syöte | Raja |
|---|---|
| Videon pituus | 4–360 sekuntia pyyntöä kohden |
| Videoformaatit | MP4, MOV |
| Videon resoluutio | 480p, 720p tai 1080p |
| Videotiedoston koko | Enintään 200 Mt |
| Äänen referenssiklipit | Enintään 6, kukin 2–30 s, yhteensä 180 s |
| Ääni stemien erotteluun | Yksi tiedosto, 2–360 s, enintään 90 Mt, WAV tai MP3 |
| Tuloste | Arvo |
|---|---|
| Pisin ääni pyyntöä kohden | 6 minuuttia |
| Stemiraidat | Enintään 6 |
| Formaatit | WAV (oletus), MP3, PCM, OGG Opus |
| Oletusnäytteenottotaajuus | 44,1 kHz |
| Puhekielet | 30 |
| Videonkäännöksen lähdekieli | Englanti tai kiina, tai tunnistetaan automaattisesti |
Lähde: ByteDancen Seed Audio 1.5 -ennakkokäytön integrointiopas, lokakuu 2026. Rajat voivat muuttua julkaisun jälkeen.
30 kieltä
Seed Audio 1.5 puhuu näitä kieliä. Videon voi kääntää englannista tai kiinasta mille tahansa niistä.
Laulujen sanoitukset onnistuvat suppeammalla kielijoukolla: englanti, kiina, japani, korea ja kantoninkiina.
Toimivia promptteja
ByteDancen promptiopas kuvaa kolme tasoa: pelkkä kuvaus, käsikirjoitus, joka määrää tapahtumien järjestyksen, ja aikajana tarkkoine sekunteineen. Aloita yksinkertaisesti ja lisää aikaleimat vain siihen, missä ajoituksella on väliä. Esimerkit ovat englanniksi, koska malli noudattaa englanninkielisiä ohjeita parhaiten.
Pelkkä selostus
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Ensin rajoitteet, sitten ääni ja lopuksi tarkat sanat. Sen kertominen, mitä ei saa kuulua, on yhtä tärkeää kuin sen, mitä pitää.
Ajoitettu kohtaus
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Aikaleimat sijoittavat jokaisen äänen aikajanalle, joten ääni osuu jo tekemiisi leikkauksiin.
Mitä kannattaa huomioida
Asioita, joihin törmäsimme testeissä, sekä asioita, jotka dokumentaatio kertoo selvästi.
- Nimet ja harvinaiset sanat voivat vaihdella otosten välillä. Toisen testielokuvamme venäjänkielisessä käännöksessä, joka sijoittuu Lontooseen vuonna 1666, vanha sana Thamesin jokiveneelle meni väärin ja yhden henkilön nimi muuttui eri muotoon. Videonkäännös hyväksyy sanaston, joten listaa nimet ennen ajoa.
- Dubbaus tarvitsee kuvauksen. Seed Audio 1.5 ei kirjoita repliikkejä itse; kerro sille, mitä sanotaan ja mitä kuuluu.
- Se tuottaa ääntä, ei huulten liikettä. Käännetty ääni noudattaa alkuperäisen ajoitusta, mutta kuvan suut eivät piirry uudelleen.
- Yksi pyyntö kattaa enintään 6 minuuttia. Pidemmät videot on jaettava, ja leikkaus lauseen keskellä kuuluu, joten leikkaa tauon kohdalta.
- Videonkäännös lähtee englannista tai kiinasta. Toisenkielistä videota ei voi kääntää suoraan.
- Kloonaa vain ääniä, joihin sinulla on käyttöoikeus.
Seed Audio 1.5 – usein kysytyt kysymykset
Mikä Seed Audio 1.5 on?
Seed Audio 1.5 on ByteDancen äänenluontimalli, joka julkaistiin 28. lokakuuta 2026. Se tuottaa puheen, ääniefektit ja musiikin yhdellä kertaa, ja se on ensimmäinen Seed Audio -versio, joka hyväksyy videon. Juuri se mahdollistaa videon dubbauksen ja videon käännöksen samalla äänellä.
Kääntääkö Seed Audio 1.5 videon samalla äänellä?
Kyllä. Videonkäännös puhuttaa puheen uudelleen toisella kielellä ja säilyttää puhujan äänen luonteen sekä alkuperäiset ääniefektit ja musiikin. Testissämme 9 minuutin englanninkielinen selostus palasi 12 kielellä, kukin alkuperäisen pituisena.
Mitä kieliä Seed Audio 1.5 tukee?
Puheessa 30 kieltä, mukaan lukien englanti, kiina, japani, korea, espanja (Espanja ja Meksiko), portugali (Brasilia ja Portugali), saksa, ranska, venäjä, arabia, hindi ja suomi. Videonkäännös onnistuu englannista tai kiinasta mille tahansa 30 kielestä.
Kuinka pitkä video voi olla?
Yksi pyyntö ottaa vastaan 4–360 sekunnin videon, enintään 200 Mt, resoluutiolla 480p, 720p tai 1080p. Pidemmän elokuvan voi jakaa taukojen kohdalta ja kääntää osat yksi kerrallaan, kuten teimme 9 minuutin Pompeji-elokuvalle.
Kuinka kauan käännös kestää?
Ajoissamme noin nelisenkymmentäviisi sekuntia vajaan viiden minuutin osa kesti 157–200 sekuntia kieltä kohden.
Tekeekö Seed Audio 1.5 huulisynkronoinnin?
Ei. Se tuottaa ääntä. Käännetty ääni noudattaa alkuperäisen ajoitusta, mutta itse videota, myös suun liikkeitä, ei muuteta.
Voiko sillä erottaa laulun, musiikin ja ääniefektit toisistaan?
Kyllä. Anna enintään 6 minuutin äänitiedosto, niin saat puheen, efektit ja musiikin takaisin erillisinä raitoina, yhteensä enintään kuutena.
Mikä muuttui Seed Audio 1.0:aan verrattuna?
Seed Audio 1.5 lisää videosyötteen, joka tuo mukanaan videon dubbauksen ja videon käännöksen. Lisäksi mukana ovat stemien erottelu ja jopa 6 minuutin musiikki, enintään kuusi äänen referenssiklippiä, enintään 6 minuuttia ääntä pyyntöä kohden ja 30 kieltä.
Onko Seed Audio 1.5 sama asia kuin Seed Audio 2.0?
Jotkin sivustot nimeävät tulevan mallin Seed Audio 2.0:ksi. ByteDancen ennakkokäytön dokumentaatio kutsuu sitä nimellä Seed Audio 1.5, ja käytämme samaa nimeä.
Onko Doitong sidoksissa ByteDanceen?
Ei. Doitong on itsenäinen tekoälyvideoalusta. Saimme Seed Audio 1.5:n ennakkokäyttöön ja kerromme tässä omista tuloksistamme.
Mitä Seed Audio 1.5:llä voi tehdä
Anna videollesi ääni toisella kielellä
Aloita yhdellä lyhyellä klipillä, tarkista nimet ja aja sitten koko elokuva.
Aloita Doitongissa