AI video dubbing die het beeld volgt
Stemmen, geluidseffecten en muziek vanuit één beschrijving
De meeste AI-stemtools lezen tekst voor in het luchtledige en laten jou de timing in de montage regelen. Seed Audio 1.5 kijkt mee met de video. Beschrijf wie er praat, wat diegene zegt, hoe de ruimte klinkt en wat de muziek doet, en je krijgt één soundtrack terug die is getimed op wat er in beeld gebeurt. Je kunt ook in het Nederlands dubben.
Jij schrijft de teksten. Het model spreekt ze in, met effecten en muziek, op het ritme van het beeld.
Drie manieren om te dubben
ByteDance beschrijft drie videomodi. Kies op basis van hoeveel controle je over de stem wilt.
Video en een beschrijving
Het model leest de scène en voorziet die van geluid op basis van jouw tekst: de dialoog, het type stem, de effecten en de muziek eronder.
Video, beschrijving en een stem
Voeg een referentieclip toe en de teksten worden in die stem uitgesproken. De video bepaalt de timing, de referentie bepaalt het timbre.
Vertaal wat er al is
Staat er in de video al Engelse of Chinese spraak, vertaal die dan en behoud de eigen stem van de spreker.
Waar dubbing echt waarde heeft
AI-gegenereerde beelden
Clips uit videomodellen komen vaak stil binnen of met een gegokte soundtrack. Dub ze met de dialoog en sfeer die de scène echt nodig heeft.
Slecht geluid op locatie
ByteDance noemt het verbeteren van audio van lage kwaliteit als toepassing: speel de scène schoon opnieuw in in plaats van tegen de ruis te vechten.
Korte drama's en series
Houd de stem van een personage van aflevering tot aflevering gelijk door steeds dezelfde referentieclip te gebruiken.
Advertenties en promo's
Time de voice-over, het productgeluid en de muzikale accenten op het frame nauwkeurig en wissel daarna de taal voor de volgende markt.
Een video dubben met Seed Audio 1.5
Bereid de montage voor
MP4 of MOV, 4 tot 360 seconden, 480p tot 1080p, maximaal 200 MB. Dub de definitieve montage: verandert de cut, dan verandert ook de timing.
Schrijf op wat te horen is
Teksten tussen aanhalingstekens, een korte beschrijving van elke stem, daarna de effecten en de muziek. Het model verzint geen dialoog, dus alles wat gezegd moet worden, zet je in de prompt.
Leg de timing vast waar het ertoe doet
Gebruik timestamps zoals [2.0s:6.5s] voor teksten en effecten die op een cut moeten vallen. De rest laat je aan het model over.
Voeg indien nodig een stemreferentie toe
Maximaal zes clips van elk 2 tot 30 seconden. Gebruik steeds dezelfde clip wanneer een personage spreekt.
Promptvoorbeelden
De promptgids van ByteDance adviseert: wat er te horen is, hoe het klinkt en wat er niet in mag zitten. Prompts blijven in het Engels, omdat het model Engelse aanwijzingen het best volgt.
Twee mensen in een regenachtige straat
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Elke spreker krijgt een beschrijving van één regel en een emotie vóór de tekst.
Een productshot met exacte timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Dankzij de timestamps valt de klik precies op het frame waarop het deksel opengaat.
Voordat je begint
- Het model schrijft het script niet. Een video zonder beschrijving in de prompt krijgt geen geplande dialoog.
- Het maakt alleen audio. Mondbewegingen in beeld worden niet aangepast, dus dialoog werkt het best bij totaalshots, personen van achteren, voice-over en animatie.
- Eén verzoek levert maximaal 6 minuten audio op; dub langere films scène voor scène.
- Gebruik stemreferenties alleen met toestemming van de spreker.
Veelgestelde vragen over AI video dubbing
Wat is AI video dubbing?
Het genereren van de soundtrack van een video met AI: dialoog, voice-over, geluidseffecten en muziek, getimed op wat er in beeld gebeurt. Met Seed Audio 1.5 beschrijf je het geluid en maakt het model het in één keer.
Schrijft Seed Audio 1.5 de dialoog voor mij?
Nee. ByteDance geeft expliciet aan dat het niet automatisch dubt. Jij levert de teksten en een beschrijving van het geluid; het model spreekt ze in en timet ze.
Kan ik voor de dubbing een specifieke stem gebruiken?
Ja. Voeg een referentieclip van 2 tot 30 seconden toe en de teksten worden in die stem uitgesproken, terwijl de video de timing bepaalt. Per verzoek kun je maximaal zes referenties gebruiken.
Kan ik ook in andere talen dan het Engels dubben?
Ja. Seed Audio 1.5 spreekt 30 talen, van Japans en Koreaans tot Nederlands, Pools, Turks en Hindi.
Wat is het verschil tussen dubbing en video vertalen?
Bij dubbing ontstaat een nieuwe soundtrack op basis van jouw beschrijving. Bij video vertalen wordt bestaande Engelse of Chinese spraak in een andere taal opnieuw ingesproken met dezelfde stem.
Gerelateerd
Geef je scène het geluid dat ze nodig heeft
Schrijf de teksten, beschrijf de ruimte en laat het beeld de timing bepalen.
Dub een video