AI-dubbning av video som följer bilden
Röster, ljudeffekter och musik från en enda beskrivning
De flesta AI-verktyg för röst läser upp text i ett vakuum och lämnar åt dig att passa in den mot klippet. Seed Audio 1.5 tittar på videon. Beskriv vem som pratar, vad personen säger, hur rummet låter och vad musiken gör, så får du tillbaka ett ljudspår som är synkat med det som syns i bild. Du kan även dubba till svenska.
Du skriver replikerna. Modellen framför dem, med ljudeffekter och musik, i takt med bilden.
Tre sätt att dubba
ByteDance dokumenterar tre videolägen. Välj utifrån hur mycket kontroll du behöver över rösten.
Video och en beskrivning
Modellen läser av scenen och ger den röst utifrån din text: replikerna, typen av röst, ljudeffekterna och musikbädden.
Video, beskrivning och en röst
Lägg till ett referensklipp så sägs replikerna med just den rösten. Videon styr timingen, referensen styr klangfärgen.
Översätt det som redan finns
Om videon redan innehåller tal på engelska eller kinesiska kan du översätta det i stället och behålla talarens egen röst.
Där dubbning gör nytta
AI-genererat videomaterial
Klipp från videomodeller kommer ofta utan ljud eller med ett gissat ljudspår. Dubba dem med den dialog och atmosfär som scenen faktiskt behöver.
Dåligt ljud från inspelningsplatsen
ByteDance nämner att förbättra ljud av låg kvalitet som ett användningsområde: spela in scenen på nytt i stället för att kämpa mot bruset.
Korta dramer och serier
Låt en karaktärs röst låta likadant från avsnitt till avsnitt genom att återanvända samma referensklipp.
Reklam och kampanjfilmer
Tajma berättarrösten, produktljudet och musikackordet till exakt rätt bildruta, och byt sedan språk för nästa marknad.
Så dubbar du en video med Seed Audio 1.5
Förbered klippet
MP4 eller MOV, 4 till 360 sekunder, 480p till 1080p, upp till 200 MB. Dubba den färdiga klippversionen: ändras klippningen ändras också timingen.
Skriv ner det som hörs
Replikerna inom citattecken, en kort beskrivning av varje röst och därefter ljudeffekter och musik. Modellen hittar inte på någon dialog, så allt som ska sägas måste stå i prompten.
Lås timingen där det behövs
Använd tidsstämplar som [2.0s:6.5s] för repliker och effekter som måste sitta på en klippning. Resten kan du lämna åt modellen.
Lägg till en röstreferens vid behov
Upp till sex klipp på 2 till 30 sekunder vardera. Använd samma klipp varje gång en karaktär pratar.
Exempel på prompter
Prompterna skrivs på engelska, eftersom modellen följer engelska regianvisningar bäst. ByteDances promptguide rekommenderar: vad som hörs, hur det låter och vad som inte ska finnas med.
Två personer på en regnig gata
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Varje talare får en beskrivning på en rad och en känsla före repliken.
En produktbild med exakt timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Tidsstämplarna gör att klicket hamnar exakt på den bildruta där locket öppnas.
Innan du börjar
- Modellen skriver inte manus. En video utan beskrivning i prompten får ingen planerad dialog.
- Den skapar bara ljud. Munrörelserna i bild ändras inte, så dialog fungerar bäst i helbilder, på personer sedda bakifrån, i berättarröst och i animation.
- En förfrågan kan innehålla upp till 6 minuter ljud. Dubba längre filmer scen för scen.
- Använd röstreferenser endast med talarens tillstånd.
Vanliga frågor om AI-dubbning av video
Vad är AI-dubbning av video?
Att skapa en videos ljudspår med AI: dialog, berättarröst, ljudeffekter och musik, tajmade mot det som händer i bild. Med Seed Audio 1.5 beskriver du ljudet och modellen skapar det i ett enda steg.
Skriver Seed Audio 1.5 dialogen åt mig?
Nej. ByteDance är tydligt med att modellen inte dubbar automatiskt. Du anger replikerna och en beskrivning av ljudet, och modellen framför och tajmar dem.
Kan dubbningen använda en specifik röst?
Ja. Lägg till ett referensklipp på 2 till 30 sekunder så sägs replikerna med den rösten, medan videon styr timingen. Upp till sex referenser kan användas i en och samma förfrågan.
Kan jag dubba på andra språk än engelska?
Ja. Seed Audio 1.5 talar 30 språk, från japanska och koreanska till polska, turkiska och hindi.
Vad skiljer dubbning från videööversättning?
Dubbning skapar ett nytt ljudspår utifrån din beskrivning. Videööversättning tar tal som redan finns på engelska eller kinesiska och gör om det till ett annat språk med samma röst.
Relaterat
Ge din scen det ljud den behöver
Skriv replikerna, beskriv rummet och låt bilden styra timingen.
Dubba en video