AI-dubbing av video som følger bildet
Stemmer, lydeffekter og musikk fra én beskrivelse
De fleste AI-stemmeverktøy leser opp tekst uten å se noe, og overlater til deg å få det til å passe med klippingen. Seed Audio 1.5 ser videoen. Beskriv hvem som snakker, hva de sier, hvordan rommet høres ut og hva musikken gjør, så får du ett lydspor som er timet etter det som skjer på skjermen.
Du skriver replikkene. Modellen fremfører dem, med effekter og musikk, i takt med bildet. Seed Audio 1.5 snakker 30 språk, og norsk er ett av dem.
Tre måter å dubbe på
ByteDance dokumenterer tre videomodus. Velg etter hvor mye kontroll du trenger over stemmen.
Video og en beskrivelse
Modellen leser scenen og legger på lyd ut fra teksten din: replikkene, stemmetypen, effektene og musikken under.
Video, beskrivelse og en stemme
Legg til et referanseklipp, så leses replikkene med den stemmen. Videoen bestemmer timingen, referansen bestemmer klangen.
Oversett det som allerede er der
Hvis videoen allerede har tale på engelsk eller kinesisk, kan du oversette den i stedet og beholde talerens egen stemme.
Der dubbing kommer til sin rett
AI-generert video
Klipp fra videomodeller kommer ofte uten lyd, eller med et lydspor modellen har gjettet seg til. Dubb dem med dialogen og stemningen scenen faktisk trenger.
Dårlig opptakslyd
ByteDance nevner å forbedre lyd av lav kvalitet som et bruksområde: spill inn scenen på nytt i stedet for å kjempe mot støyen.
Korte dramaer og serier
Hold stemmen til en karakter lik fra episode til episode ved å bruke samme referanseklipp.
Reklame og promovideoer
Tim voiceover, produktlyd og musikkaksent til riktig bilde, og bytt språk når du skal til neste marked.
Slik dubber du en video med Seed Audio 1.5
Gjør klippet klart
MP4 eller MOV, 4 til 360 sekunder, 480p til 1080p, opptil 200 MB. Dubb den ferdige versjonen: endres klippingen, endres timingen.
Skriv det som skal høres
Replikker i anførselstegn, en kort beskrivelse av hver stemme, så effektene og musikken. Modellen finner ikke på dialog, så alt som skal sies må stå i prompten.
Lås timingen der det betyr noe
Bruk tidskoder som [2.0s:6.5s] for replikker og effekter som må treffe et klipp. Resten kan du overlate til modellen.
Legg til en stemmereferanse ved behov
Opptil seks klipp på 2 til 30 sekunder hver. Bruk samme klipp hver gang en karakter snakker.
Eksempler på prompter
ByteDances promptguide anbefaler: hva som høres, hvordan det høres ut og hva som ikke skal være med. Promptene står på engelsk, fordi modellen følger engelske regianvisninger best.
To personer i en regnfull gate
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Hver som snakker får en beskrivelse på én linje og en følelse før replikken.
Produktbilde med eksakt timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Tidskodene holder klikket på bildet der lokket åpnes.
Før du begynner
- Modellen skriver ikke manus. En video uten beskrivelse i prompten får ingen planlagt dialog.
- Den lager bare lyd. Munnbevegelsene på skjermen endres ikke, så dialog fungerer best i vide bilder, bakhodet på folk, fortellerstemme og animasjon.
- Én forespørsel gir opptil 6 minutter lyd. Dubb lengre filmer scene for scene.
- Bruk stemmereferanser bare med tillatelse fra den som snakker.
Vanlige spørsmål om AI-dubbing av video
Hva er AI-dubbing av video?
Å lage lydsporet til en video med AI: dialog, voiceover, lydeffekter og musikk, timet etter det som skjer på skjermen. Med Seed Audio 1.5 beskriver du lyden, og modellen lager den i én omgang.
Skriver Seed Audio 1.5 dialogen for meg?
Nei. ByteDance understreker at modellen ikke dubber automatisk. Du gir replikkene og en beskrivelse av lyden, og modellen fremfører og timer dem.
Kan dubbingen bruke en bestemt stemme?
Ja. Legg til et referanseklipp på 2 til 30 sekunder, så leses replikkene med den stemmen, mens videoen styrer timingen. Opptil seks referanser kan brukes i én forespørsel.
Kan jeg dubbe på andre språk enn engelsk?
Ja. Seed Audio 1.5 snakker 30 språk, fra japansk og koreansk til polsk, tyrkisk og hindi.
Hva er forskjellen på dubbing og videooversettelse?
Dubbing lager et nytt lydspor ut fra beskrivelsen din. Videooversettelse tar tale som allerede finnes på engelsk eller kinesisk og legger den på et annet språk med samme stemme.
Relatert
Gi scenen din lyden den trenger
Skriv replikkene, beskriv rommet, og la bildet bestemme timingen.
Dubb en video