Dobragem de vídeo com IA que acompanha a imagem
Vozes, efeitos sonoros e música a partir de uma só descrição
A maioria das ferramentas de voz com IA lê o texto no vazio e deixa-lhe a tarefa de o sincronizar com a edição. O Seed Audio 1.5 vê o vídeo. Descreva quem fala, o que diz, como soa o espaço e o que faz a música, e ele devolve uma única banda sonora sincronizada com o que está no ecrã. Pode também dobrar em português, um dos 30 idiomas disponíveis.
Escreve as falas. O modelo interpreta-as, com efeitos e música, em sintonia com a imagem.
Três formas de dobrar
A ByteDance documenta três modos de vídeo. Escolha consoante o controlo que precisa de ter sobre a voz.
Vídeo e uma descrição
O modelo lê a cena e dá-lhe voz a partir do seu texto: as falas, o tipo de voz, os efeitos e a base musical.
Vídeo, descrição e uma voz
Junte um clipe de referência e as falas são ditas com essa voz. O vídeo define o ritmo, a referência define o timbre.
Traduzir o que já existe
Se o vídeo já tem fala em inglês ou chinês, traduza-a e mantenha a voz do próprio orador.
Onde a dobragem faz a diferença
Imagens geradas por IA
Os clipes de modelos de vídeo chegam muitas vezes sem som ou com uma banda sonora adivinhada. Dobre-os com os diálogos e a atmosfera de que a cena realmente precisa.
Som de rodagem fraco
A ByteDance indica a melhoria de áudio de baixa qualidade como caso de uso: refaça a cena com limpeza, em vez de lutar contra o ruído.
Curtas dramáticas e séries
Mantenha a voz de uma personagem igual de episódio para episódio, reutilizando o mesmo clipe de referência.
Anúncios e promos
Sincronize ao fotograma a locução, o som do produto e o toque musical, e depois mude o idioma para o mercado seguinte.
Como dobrar um vídeo com o Seed Audio 1.5
Prepare a montagem
MP4 ou MOV, de 4 a 360 segundos, de 480p a 1080p, até 200 MB. Dobre a versão final: se a montagem mudar, o ritmo muda.
Escreva o que se ouve
As falas entre aspas, uma breve descrição de cada voz e depois os efeitos e a música. O modelo não inventa diálogos, por isso tudo o que deve ser dito vai no prompt.
Fixe o tempo onde importa
Use marcas como [2.0s:6.5s] para as falas e os efeitos que têm de coincidir com um corte. O resto, deixe ao modelo.
Junte uma referência de voz, se precisar
Até seis clipes de 2 a 30 segundos cada. Use o mesmo clipe sempre que a personagem falar.
Exemplos de prompts
O guia de prompts da ByteDance recomenda: o que se ouve, como soa e o que não deve estar lá. Os exemplos ficam em inglês, porque o modelo segue melhor instruções nessa língua.
Duas pessoas numa rua à chuva
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Cada interveniente recebe uma descrição de uma linha e uma emoção antes da fala.
Um plano de produto com tempo exato
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
As marcas de tempo mantêm o clique no fotograma em que a tampa abre.
Antes de começar
- O modelo não escreve o guião. Um vídeo sem descrição no prompt fica sem diálogos planeados.
- Gera apenas áudio. O movimento da boca no ecrã não é alterado, por isso o diálogo funciona melhor em planos abertos, costas de cabeças, narração e animação.
- Cada pedido tem até 6 minutos de áudio; dobre filmes mais longos cena a cena.
- Use referências de voz apenas com a autorização de quem fala.
Perguntas frequentes sobre dobragem de vídeo com IA
O que é a dobragem de vídeo com IA?
É gerar com IA a banda sonora de um vídeo: diálogos, locução, efeitos sonoros e música, sincronizados com o que acontece no ecrã. Com o Seed Audio 1.5, descreve o som e o modelo produz tudo de uma só vez.
O Seed Audio 1.5 escreve os diálogos por mim?
Não. A ByteDance é clara: não faz dobragem automática. Fornece as falas e uma descrição do som; o modelo interpreta-as e sincroniza-as.
A dobragem pode usar uma voz específica?
Sim. Junte um clipe de referência de 2 a 30 segundos e as falas são ditas com essa voz, enquanto o vídeo controla o ritmo. Pode usar até seis referências num só pedido.
Posso dobrar noutros idiomas além do inglês?
Sim. O Seed Audio 1.5 fala 30 idiomas, do japonês e coreano ao polaco, turco e hindi.
Qual é a diferença entre dobragem e tradução de vídeo?
A dobragem cria uma banda sonora nova a partir da sua descrição. A tradução de vídeo pega na fala que já existe em inglês ou chinês e volta a dizê-la noutro idioma, com a mesma voz.
Relacionado
Dê à sua cena o som de que ela precisa
Escreva as falas, descreva o espaço e deixe a imagem definir o ritmo.
Dobrar um vídeo