AI Video-Dubbing, dat dem Bild follegt
Stëmmen, Soundeffeten a Musek aus enger eenzeger Beschreiwung
Déi meescht AI-Stëmmtools liesen just Text vir a loossen Iech eleng domat, et mam Schnëtt ofzestëmmen. Seed Audio 1.5 kuckt de Video. Beschreift, wien schwätzt, wat gesot gëtt, wéi de Raum klénge soll a wat d'Musek mécht, an et liwwert Iech een Soundtrack, deen op dat getimt ass, wat um Bildschierm ze gesinn ass.
Dir schreift d'Texter. De Modell spillt se, mat Effeten a Musek, synchron zum Bild.
Dräi Weeër fir ze dubben
ByteDance dokumentéiert dräi Video-Modi. Wielt dee, deen zu Ärer gewënschter Kontroll iwwer d'Stëmm passt.
Video an eng Beschreiwung
De Modell liest d'Szen an vertount se no Ärem Text: d'Repliken, d'Aart vu Stëmm, d'Effeten an de Musekteppech.
Video, Beschreiwung an eng Stëmm
Setzt e Referenzclip derbäi, an d'Repliken ginn an dëser Stëmm geschwat. De Video bestëmmt den Timing, d'Referenz den Timbre.
Dat iwwersetzen, wat scho gesot gëtt
Wann am Video schonn Englesch oder Chinesesch geschwat gëtt, iwwersetzt et amplaz an behaalt d'Stëmm vum Spriecher.
Wou sech Dubbing lount
AI-generéiert Opnamen
Clips aus Videomodeller kommen dacks stomm oder mat engem geroden Soundtrack. Dubbt se mam Dialog an der Atmosphär, déi d'Szen wierklech brauch.
Schlechten Toun vum Dréiort
ByteDance nennt d'Verbesserung vun Audio vu schlechter Qualitéit als Uwendungsfall: Spillt d'Szen propper nei an amplaz géint de Kaméidi ze kämpfen.
Kuerz Dramaen a Serien
Haalt d'Stëmm vun engem Charakter vun Episod zu Episod déi selwecht, andeems Dir ëmmer deeselwechte Referenzclip benotzt.
Reklamm a Promoen
Timt Voiceover, Produktgeräisch a Musekakzent op de Frame genau of, a wiesselt dann d'Sprooch fir den nächste Mäert.
Wéi een e Video mat Seed Audio 1.5 dubbt
Schnëtt virbereeden
MP4 oder MOV, 4 bis 360 Sekonnen, 480p bis 1080p, bis zu 200 MB. Dubbt de fäerdege Schnëtt: Wann de Schnëtt ännert, ännert den Timing.
Schreift op, wat ze héieren ass
Repliken an Zitatzeechen, eng kuerz Beschreiwung vun all Stëmm, dann d'Effeten an d'Musek. De Modell erfënnt keen Dialog, alles, wat gesot ka ginn, gehéiert also an de Prompt.
Timing do fixéieren, wou et drop ukënnt
Benotzt Timestamps wéi [2.0s:6.5s] fir Repliken an Effeten, déi op engem Schnëtt sëtze mussen. De Rescht iwwerlooss dem Modell.
Wann néideg, eng Stëmmreferenz derbäisetzen
Bis zu sechs Clips vun 2 bis 30 Sekonnen. Benotzt dee selwechte Clip ëmmer, wann ee Charakter schwätzt.
Prompt-Beispiller
D'Prompte bleiwen op Englesch, well de Modell englesch Regieusweisunge am beschte versteet. De Prompt-Guide vun ByteDance empfielt: wat ze héieren ass, wéi et klénkt a wat net dobäi sinn däerf.
Zwee Leit op enger reenescher Strooss
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
All Spriecher kritt virun der Replik eng Beschreiwung an engem Saz an eng Emotioun.
E Produktshot mat genauem Timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
D'Timestamps halen de Klick op deem Frame, wou den Deckel opgeet.
Ier Dir ufänkt
- De Modell schreift d'Skript net. E Video ouni Beschreiwung am Prompt kritt keen geplangten Dialog.
- Et mécht just Audio. D'Mondbewegung um Bildschierm gëtt net verännert, Dialog funktionéiert also am beschte bei Totalen, Hannerkäpp, Erzielstëmmen an Animatioun.
- Eng Ufro ëmfaasst bis zu 6 Minutten Audio; méi laang Filmer dubbt Dir Szen fir Szen.
- Benotzt Stëmmreferenze just mat der Erlaabnis vum Spriecher.
FAQ zum AI Video-Dubbing
Kann Seed Audio 1.5 e Video op Lëtzebuergesch iwwersetzen oder dubben?
Nach net. Lëtzebuergesch ass net ënnert den 30 Sproochen, déi Seed Audio 1.5 beim Start schwätzt. Videoe vun Englesch oder Chinesesch kënnen awer an Däitsch, Franséisch, Portugisesch, Hollännesch oder Italienesch iwwersat ginn.
Wat ass AI Video-Dubbing?
De Soundtrack vun engem Video mat AI generéieren: Dialog, Voiceover, Soundeffeten a Musek, getimt op dat, wat um Bildschierm geschitt. Mat Seed Audio 1.5 beschreift Dir de Sound, an de Modell produzéiert en an engem Duerchgang.
Schreift Seed Audio 1.5 mir den Dialog?
Nee. ByteDance seet kloer, dass et net automatesch dubbt. Dir liwwert d'Repliken an eng Beschreiwung vum Sound; de Modell spillt se an timt se.
Kann d'Dubbing eng bestëmmte Stëmm benotzen?
Jo. Setzt e Referenzclip vun 2 bis 30 Sekonnen derbäi, an d'Repliken ginn an dëser Stëmm geschwat, wärend de Video den Timing steiert. Bis zu sechs Referenze kënnen an enger Ufro benotzt ginn.
Kann ech och an anere Sproochen wéi Englesch dubben?
Jo. Seed Audio 1.5 schwätzt 30 Sproochen, vu Japanesch a Koreanesch bis Polnesch, Tierkesch an Hindi. Lëtzebuergesch ass leider net dobäi.
Wat ass den Ënnerscheed tëscht Dubbing a Video-Iwwersetzung?
Dubbing erstellt en neie Soundtrack aus Ärer Beschreiwung. Bei der Video-Iwwersetzung gëtt Sprooch, déi et schonn op Englesch oder Chinesesch gëtt, an enger anerer Sprooch mat där selwechter Stëmm nei ageschwat.
Dat kéint Iech och interesséieren
Gitt Ärer Szen de Sound, deen se brauch
Schreift d'Repliken, beschreift de Raum, a looss d'Bild den Timing virginn.
Video dubben