AI dabing videa, který sleduje obraz
Hlasy, zvukové efekty a hudba z jednoho popisu
Většina AI nástrojů na hlas čte text do prázdna a sladění se střihem nechává na vás. Seed Audio 1.5 se na video dívá. Popište, kdo mluví, co říká, jak zní prostor a co dělá hudba, a dostanete jednu zvukovou stopu načasovanou podle toho, co je na obrazovce.
Repliky píšete vy. Model je přednese a doplní efekty a hudbu přesně podle obrazu. Dabovat můžete i do češtiny.
Tři způsoby dabingu
ByteDance popisuje tři režimy pro video. Vyberte podle toho, kolik kontroly nad hlasem potřebujete.
Video a popis
Model přečte scénu a namluví ji podle vašeho textu: repliky, typ hlasu, efekty i hudební podklad.
Video, popis a hlas
Přidejte referenční ukázku a repliky zazní tímto hlasem. Video určuje načasování, reference barvu hlasu.
Přeložit to, co už ve videu zní
Pokud už video obsahuje řeč v angličtině nebo čínštině, přeložte ji a zachovejte hlas mluvčího.
Kde se dabing vyplatí
Záběry vygenerované AI
Klipy z video modelů často přicházejí bez zvuku nebo s odhadnutou zvukovou stopou. Nadabujte je dialogy a atmosférou, které scéna opravdu potřebuje.
Špatný zvuk z místa natáčení
ByteDance uvádí zlepšení nekvalitního zvuku jako jedno z použití: scénu raději čistě znovu nahrajte, než abyste bojovali s šumem.
Krátká dramata a seriály
Hlas postavy zůstane z dílu na díl stejný, když použijete pokaždé stejnou referenční ukázku.
Reklamy a upoutávky
Načasujte voice-over, zvuk produktu i hudební akcent na políčko přesně a pro další trh jednoduše změňte jazyk.
Jak nadabovat video pomocí Seed Audio 1.5
Připravte střih
MP4 nebo MOV, 4 až 360 sekund, 480p až 1080p, do 200 MB. Dabujte finální střih: když se změní střih, změní se i načasování.
Napište, co je slyšet
Repliky v uvozovkách, krátký popis každého hlasu, pak efekty a hudba. Model dialogy nevymýšlí, takže vše, co má zaznít, patří do promptu.
Načasování připněte tam, kde záleží
Pomocí časových značek jako [2.0s:6.5s] určete repliky a efekty, které musí dopadnout na střih. Zbytek nechte na modelu.
Podle potřeby přidejte hlasovou referenci
Až šest ukázek po 2 až 30 sekundách. Kdykoli postava mluví, použijte stejnou ukázku.
Příklady promptů
Návod ByteDance k promptům doporučuje popsat, co je slyšet, jak to zní a co tam být nemá. Prompty jsou v angličtině, protože na anglické pokyny model reaguje nejlépe.
Dva lidé na deštivé ulici
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Každý mluvčí dostane před replikou jednořádkový popis a emoci.
Záběr produktu s přesným načasováním
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Časové značky udrží cvaknutí přesně na políčku, kde se otevře víko.
Než začnete
- Model nepíše scénář. Video bez popisu v promptu nedostane žádný plánovaný dialog.
- Vytváří pouze zvuk. Pohyb úst na obrazovce se nemění, takže dialogy fungují nejlépe v celkových záběrech, při záběrech zezadu, v komentáři a v animaci.
- Jeden požadavek zvládne až 6 minut zvuku; delší filmy dabujte scénu po scéně.
- Hlasové reference používejte jen se souhlasem mluvčího.
AI dabing videa: časté dotazy
Co je AI dabing videa?
Vytvoření zvukové stopy videa pomocí AI: dialogy, voice-over, zvukové efekty a hudba načasované podle toho, co se děje na obrazovce. U Seed Audio 1.5 popíšete zvuk a model ho vytvoří najednou.
Napíše mi Seed Audio 1.5 dialogy?
Ne. ByteDance výslovně uvádí, že automaticky nedabuje. Repliky a popis zvuku dodáváte vy; model je přednese a načasuje.
Může dabing používat konkrétní hlas?
Ano. Přidejte referenční ukázku o délce 2 až 30 sekund a repliky zazní tímto hlasem, zatímco načasování určuje video. V jednom požadavku lze použít až šest referencí.
Mohu dabovat i v jiných jazycích než v angličtině?
Ano. Seed Audio 1.5 mluví 30 jazyky, od japonštiny a korejštiny po polštinu, turečtinu a hindštinu.
Čím se dabing liší od překladu videa?
Dabing vytvoří novou zvukovou stopu podle vašeho popisu. Překlad videa vezme řeč, která už existuje v angličtině nebo čínštině, a namluví ji v jiném jazyce stejným hlasem.
Související
Dejte své scéně zvuk, který potřebuje
Napište repliky, popište prostor a načasování nechte na obrazu.
Nadabovat video