Seed Audio 1.5: videófordítás és szinkron ugyanazzal a hanggal
Egyetlen modell hanghoz, hangeffektekhez és zenéhez, a videó alapján
A Seed Audio 1.5 a ByteDance új hangmodellje. Megkapja a videót, meghallgatja, és új hangsávot ír hozzá: ugyanaz a narrátor beszél japánul, a szinkron követi a képet, vagy a beszéd, a zene és az effektek külön sávokra bomlanak. Korai hozzáféréssel egy 9 perces animációs filmet fordítottunk le vele 12 nyelvre. Megmutatjuk, mit tudott, hol csúszott el, és hogyan érhet el Ön is ugyanilyen eredményt. A videót magyarra is lefordíthatja.
A Doitong független platform, és nem áll kapcsolatban a ByteDance-szel.
Tesztünk: egy film, 12 nyelv, ugyanaz a narrátor
A „The Last Ordinary Day in Pompeii” című, 9 perces, angol narrációs animációs történelmi filmet nyelvenként egyszer futtattuk végig a Seed Audio 1.5 videófordításán. Indítsa el a videót, majd a Beállítások → Hangsáv menüben váltson az angol eredeti és a 12 fordítás között.
A videó hangsávjai: angol (eredeti), valamint orosz, német, francia, spanyol (Spanyolország), olasz, japán, koreai, holland, svéd, dán, norvég és finn.
- A film hossza
- 9:00
- Nyelvek
- 12
- Kérésenkénti idő
- 2,6–3,3 perc
- Hosszeltérés
- < 0,03 s
Hogyan végeztük a tesztet
A fenti számok a saját naplóinkból származnak, nem sajtóközleményből. Három részlet számít, ha meg szeretné ismételni.
Vágás szünetnél
Egy kérés 4–360 másodperces videót fogad, ezért a 9 perces filmet két részben küldtük be, természetes szünetnél elvágva: 4:43 és 4:17 hosszban. Tizenkét nyelv 24 kérést jelentett, és mindegyik 157–200 másodperc alatt készült el.
A hossz stimmelt
Minden lefordított rész az eredetivel azonos hosszúságban érkezett vissza. Az első rész 283,26 másodperces lett a forrás 283,29 másodpercével szemben, a második 256,83 a 256,83-mal szemben, és minden nyelven ugyanezeket az értékeket kaptuk. Az új narráció utólagos időzítés nélkül illeszkedett a képhez.
Csak a hangot küldtük be
A modellnek a narrációt adtuk oda zene nélkül, a saját zenénket és effektjeinket utólag kevertük vissza. A zene és az effektek megőrzése a fordítás során a modell deklarált funkciója, de ez a teszt nem erre épült.
Mire képes a Seed Audio 1.5
Az 1.5 az első Seed Audio modell, amely videót is fogad. Ez az egy változás nyitja meg az alábbi feladatok többségét.
Videófordítás ugyanazzal a hanggal
Angolból vagy kínaiból 30 nyelvre. A hang megőrzi a beszélő karakterét, az eredeti effektek és a háttérzene a helyükön maradnak, csak a beszéd változik.
Videószinkron leírás alapján
Adjon meg egy videót, és írja le, minek kell hallatszania: a szöveget, a hangokat, az effekteket, a zenét. A modell a képhez igazodó hangot készít. A forgatókönyvet nem találja ki Ön helyett.
Hang szétválasztása sávokra
Töltsön fel egy hangfájlt, és a beszédet, az effekteket és a zenét külön sávokként kapja vissza, legfeljebb hat sávban, keverésre készen.
Néma klip hangosítása
Kérhet környezeti zajt, lépteket, ajtócsapódást, zenei alapot, és a promptban megadott időbélyegekkel mindegyiket az idővonal megfelelő pontjára teheti.
Hangklónozás
Legfeljebb hat, egyenként 2–30 másodperces referenciaklip határozza meg a hangszínt. Ha referenciát és videót is megad, a szinkron ezen a hangon szólal meg.
Dalok írása szöveggel
Legfeljebb hat perces zene szöveges leírásból, angol, kínai, japán, koreai vagy kantoni nyelvű énekelt szöveggel.
A Seed Audio 1.5 korlátai
A korlátok a ByteDance korai hozzáférésű integrációs útmutatójából származnak. Ellenőrizze őket, mielőtt vágni kezdi a videót.
| Bemenet | Korlát |
|---|---|
| Videó hossza | 4–360 másodperc kérésenként |
| Videóformátumok | MP4, MOV |
| Videó felbontása | 480p, 720p vagy 1080p |
| Videófájl mérete | Legfeljebb 200 MB |
| Hang-referenciaklipek | Legfeljebb 6, egyenként 2–30 s, összesen 180 s |
| Hang a sávszétválasztáshoz | Egy fájl, 2–360 s, legfeljebb 90 MB, WAV vagy MP3 |
| Kimenet | Érték |
|---|---|
| Leghosszabb hang kérésenként | 6 perc |
| Hangsávok | Legfeljebb 6 |
| Formátumok | WAV (alapértelmezett), MP3, PCM, OGG Opus |
| Alapértelmezett mintavételi frekvencia | 44,1 kHz |
| Beszédnyelvek | 30 |
| Videófordítás forrásnyelve | Angol vagy kínai, vagy automatikus felismerés |
Forrás: ByteDance Seed Audio 1.5 korai hozzáférésű integrációs útmutató, 2026. október. A korlátok a megjelenés után változhatnak.
30 nyelv
A Seed Audio 1.5 ezeken a nyelveken beszél. A videófordítás angolról vagy kínairól bármelyikre elérhető.
A dalszövegek szűkebb nyelvkészletben támogatottak: angol, kínai, japán, koreai és kantoni.
Működő promptok
A ByteDance promptútmutatója három szintet különböztet meg: egyszerű leírás, az események sorrendjét megadó forgatókönyv, és pontos másodpercekkel megadott idővonal. Kezdje egyszerűen, időbélyeget csak ott adjon meg, ahol az időzítés számít. A promptokat angolul hagytuk, mert a modell az angol rendezői utasításokat követi a legjobban.
Egyszerű narráció
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Először a megkötések, aztán a hang, végül a pontos szöveg. Legalább olyan fontos megmondani, minek nem szabad megjelennie, mint azt, minek kell.
Időzített jelenet
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Az időbélyegek az idővonal adott pontjára teszik az egyes hangokat, így a hang igazodik a már megvágott jelenetekhez.
Mire figyeljen
Amibe a tesztelés során belefutottunk, és amit a dokumentáció világosan leír.
- A nevek és a ritka szavak felvételenként eltérhetnek. A második tesztfilmünk orosz fordításában, amely 1666-os Londonban játszódik, a Temze folyami hajóinak régi elnevezése hibásan szólalt meg, és az egyik szereplő neve megváltozott. A videófordítás elfogad szójegyzéket, ezért futtatás előtt sorolja fel benne a neveket.
- A szinkronhoz leírás kell. A Seed Audio 1.5 nem ír magától szöveget; mondja meg neki, mi hangzik el és mi hallatszik.
- Hangot készít, nem szájmozgást. A lefordított hang megtartja az eredeti időzítését, de a képernyőn látható szájmozgást nem rajzolja újra.
- Egy kérés legfeljebb 6 percet fed le. A hosszabb videót fel kell darabolni, és a mondat közepén elvágott hang hallható, ezért szünetnél vágjon.
- A videófordítás angolból vagy kínaiból indul. Más nyelvű videó közvetlenül nem fordítható.
- Csak olyan hangot klónozzon, amelynek felhasználására jogosult.
Seed Audio 1.5 – gyakori kérdések
Mi a Seed Audio 1.5?
A Seed Audio 1.5 a ByteDance hanggeneráló modellje, amely 2026. október 28-án jelent meg. A beszédet, a hangeffekteket és a zenét egyetlen menetben állítja elő, és ez az első Seed Audio verzió, amely videót is fogad. Ettől lehetséges a videószinkron és a videófordítás ugyanazzal a hanggal.
Le tudja fordítani a Seed Audio 1.5 a videót ugyanazzal a hanggal?
Igen. A videófordítás más nyelven szólaltatja meg a beszédet, miközben megőrzi a beszélő hangjának karakterét, az eredeti hangeffekteket és a zenét is. Tesztünkben egy 9 perces angol narráció 12 nyelven készült el, és mindegyik pontosan olyan hosszú volt, mint az eredeti.
Milyen nyelveket támogat a Seed Audio 1.5?
Beszédhez 30 nyelvet, köztük az angolt, a kínait, a japánt, a koreait, a spanyolt (Spanyolország és Mexikó), a portugált (Brazília és Portugália), a németet, a franciát, az oroszt, az arabot, a hindit és a magyart. A videófordítás angolról vagy kínairól bármelyik a 30 közül elérhető.
Milyen hosszú lehet a videó?
Egy kérés 4–360 másodperces, legfeljebb 200 MB méretű, 480p, 720p vagy 1080p felbontású videót fogad. Hosszabb filmnél szünetnél vágja ketté, és a részeket fordítsa le egyenként, ahogy mi is tettük a 9 perces pompeji filmmel.
Mennyi ideig tart egy fordítás?
A mi futtatásainkban a nagyjából négy és fél perces részek nyelvenként 157–200 másodperc alatt készültek el.
Van a Seed Audio 1.5-ben szájmozgás-szinkron (lip sync)?
Nincs. Hangot generál. A lefordított hang az eredeti időzítését követi, de magát a videót, így a szájmozgást sem változtatja meg.
Szét tudja választani az éneket, a zenét és a hangeffekteket?
Igen. Adjon meg egy legfeljebb 6 perces hangfájlt, és a beszédet, az effekteket és a zenét külön sávokon kapja vissza, összesen legfeljebb hatot.
Mi változott a Seed Audio 1.0-hoz képest?
A Seed Audio 1.5 videóbemenetet kapott, ez hozza a videószinkront és a videófordítást. Emellett tud hangsávokat szétválasztani és legfeljebb 6 perces zenét készíteni, legfeljebb hat hang-referenciaklipet fogad, kérésenként legfeljebb 6 perc hangot állít elő, és 30 nyelven beszél.
A Seed Audio 1.5 ugyanaz, mint a Seed Audio 2.0?
Egyes oldalak Seed Audio 2.0 néven emlegetik a készülő modellt. A ByteDance korai hozzáférésű dokumentációja Seed Audio 1.5-nek nevezi, mi is ezt a nevet használjuk.
Kapcsolatban áll a Doitong a ByteDance-szel?
Nem. A Doitong független AI videóplatform. Korai hozzáférésünk volt a Seed Audio 1.5-höz, és itt a saját eredményeinket ismertetjük.
Mit tehet a Seed Audio 1.5-tel
Szólaltassa meg videóját más nyelven
Kezdje egy rövid klippel, ellenőrizze a neveket, aztán futtassa le az egész filmet.
Kezdje el a Doitongban