Dubbing ya video kwa AI inayofuata picha
Sauti, athari za sauti na muziki kutoka maelezo moja
Zana nyingi za sauti za AI husoma maandishi bila kuona chochote, kisha wewe unabaki kuyapanga yaendane na uhariri. Seed Audio 1.5 inaitazama video. Eleza ni nani anayezungumza, anasema nini, chumba kinasikikaje na muziki unafanya nini, nayo inakurudishia sauti moja iliyopangwa kwa muda kulingana na kilicho kwenye skrini.
Wewe unaandika maneno. Modeli inayaigiza, pamoja na athari za sauti na muziki, sambamba na picha.
Njia tatu za kudubu
ByteDance imeeleza njia tatu za video. Chagua kulingana na kiwango cha udhibiti unachohitaji juu ya sauti.
Video na maelezo
Modeli husoma tukio na kulitolea sauti kutoka maandishi yako: maneno, aina ya sauti, athari za sauti na muziki wa nyuma.
Video, maelezo na sauti
Ongeza klipu ya rejeo na maneno yatasemwa kwa sauti hiyo. Video huamua muda, klipu ya rejeo huamua timbre ya sauti.
Tafsiri kilichopo tayari
Kama video tayari ina hotuba kwa Kiingereza au Kichina, itafsiri badala yake na ubaki na sauti ya mzungumzaji mwenyewe.
Dubbing inapofaa zaidi
Video zilizotengenezwa na AI
Klipu kutoka kwa modeli za video mara nyingi huja bila sauti au na sauti ya kukisia. Zidubu kwa mazungumzo na mazingira ambayo tukio linahitaji kweli.
Sauti mbaya ya eneo la kurekodi
ByteDance inataja kuboresha sauti ya ubora wa chini kuwa mojawapo ya matumizi: igiza tukio upya kwa usafi badala ya kupambana na kelele.
Tamthilia fupi na mfululizo
Weka sauti ya mhusika ileile kutoka kipindi hadi kipindi kwa kutumia klipu ileile ya rejeo.
Matangazo na promo
Panga muda wa sauti ya msimulizi, sauti ya bidhaa na kilele cha muziki hadi kwenye fremu, kisha badilisha lugha kwa soko lijalo.
Jinsi ya kudubu video kwa Seed Audio 1.5
Andaa toleo la mwisho la video
MP4 au MOV, sekunde 4 hadi 360, 480p hadi 1080p, hadi MB 200. Dubu uhariri wa mwisho: kama video ikibadilishwa, muda nao hubadilika.
Andika kinachosikika
Maneno ndani ya alama za nukuu, maelezo mafupi ya kila sauti, kisha athari za sauti na muziki. Modeli haibuni mazungumzo, kwa hiyo kila kinachopaswa kusemwa kiwe kwenye prompt.
Bana muda pale unapohitajika
Tumia timestamp kama [2.0s:6.5s] kwa maneno na athari zinazopaswa kuangukia kwenye kata. Mengine yaachie modeli.
Ongeza rejeo la sauti ukihitaji
Hadi klipu sita za sekunde 2 hadi 30 kila moja. Tumia klipu ileile kila mhusika anapozungumza.
Mifano ya prompt
Mwongozo wa prompt wa ByteDance unapendekeza: kinachosikika, kinavyosikika, na kisichopaswa kuwepo. Mifano inabaki kwa Kiingereza kwa sababu modeli hufuata maelekezo ya Kiingereza vizuri zaidi.
Watu wawili barabarani kwenye mvua
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Kila mzungumzaji anapewa maelezo ya mstari mmoja na hisia kabla ya maneno yake.
Picha ya bidhaa yenye muda sahihi
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Timestamp huhakikisha mlio wa kubofya unaangukia kwenye fremu ambapo kifuniko kinafunguka.
Kabla ya kuanza
- Modeli haiandiki hati. Video isiyo na maelezo kwenye prompt haipati mazungumzo yaliyopangwa.
- Inatengeneza sauti tu. Mwendo wa midomo kwenye skrini haubadilishwi, kwa hiyo mazungumzo hufanya kazi vizuri zaidi kwenye picha za mbali, migongo ya vichwa, usimulizi na uhuishaji.
- Ombi moja linaweza kuwa na hadi dakika 6 za sauti; filamu ndefu zidubu tukio kwa tukio.
- Tumia rejeo za sauti tu kwa idhini ya mzungumzaji.
Maswali kuhusu dubbing ya video kwa AI
Je, Seed Audio 1.5 inaweza kutafsiri au kudubu video kwa Kiswahili?
Bado hapana. Kiswahili hakimo kwenye lugha 30 ambazo Seed Audio 1.5 inazungumza wakati wa kutolewa kwake. Video ya Kiingereza au Kichina inaweza kutafsiriwa kwa lugha kama Kiarabu, Kifaransa, Kireno na Kihindi.
Dubbing ya video kwa AI ni nini?
Ni kutengeneza sauti ya video kwa AI: mazungumzo, sauti ya msimulizi, athari za sauti na muziki, vilivyopangwa kwa muda kulingana na kinachotokea kwenye skrini. Ukiwa na Seed Audio 1.5, unaeleza sauti na modeli inaitengeneza kwa hatua moja.
Je, Seed Audio 1.5 inaniandikia mazungumzo?
Hapana. ByteDance inasema wazi kwamba haidubu kiotomatiki. Wewe unatoa maneno na maelezo ya sauti; modeli inayaigiza na kuyapangia muda.
Je, dubbing inaweza kutumia sauti maalum?
Ndiyo. Ongeza klipu ya rejeo ya sekunde 2 hadi 30 na maneno yatasemwa kwa sauti hiyo, huku video ikidhibiti muda. Hadi rejeo sita zinaweza kutumika kwenye ombi moja.
Je, naweza kudubu kwa lugha nyingine zaidi ya Kiingereza?
Ndiyo. Seed Audio 1.5 inazungumza lugha 30, kuanzia Kijapani na Kikorea hadi Kipolandi, Kituruki na Kihindi. Kiswahili hakimo bado.
Dubbing inatofautianaje na kutafsiri video?
Dubbing huunda sauti mpya kutoka maelezo yako. Kutafsiri video huchukua hotuba iliyopo tayari kwa Kiingereza au Kichina na kuitamka upya kwa lugha nyingine ikiwa na sauti ileile.
Kurasa zinazohusiana
Pa tukio lako sauti linayoihitaji
Andika maneno, eleza chumba, na uache picha iamue muda.
Dubu video