AI वीडियो डबिंग, जो दृश्य के साथ चलती है
एक विवरण से आवाज़ें, साउंड इफ़ेक्ट और म्यूज़िक
ज़्यादातर AI वॉइस टूल टेक्स्ट को खाली जगह में पढ़ देते हैं, और उसे एडिट से मिलाने का काम आपके ज़िम्मे छोड़ देते हैं। Seed Audio 1.5 वीडियो देखता है। बताइए कि कौन बोल रहा है, क्या बोल रहा है, कमरे में कैसी आवाज़ें हैं और म्यूज़िक क्या कर रहा है। बदले में आपको स्क्रीन पर दिख रहे दृश्य के हिसाब से टाइम किया हुआ एक साउंडट्रैक मिलता है। आप अपने संवाद हिंदी में भी डब कर सकते हैं।
संवाद आप लिखते हैं। मॉडल उन्हें इफ़ेक्ट और म्यूज़िक के साथ, दृश्य की टाइमिंग पर बोलता है।
डबिंग के तीन तरीके
ByteDance ने तीन वीडियो मोड दस्तावेज़ में दिए हैं। आवाज़ पर कितना नियंत्रण चाहिए, उसके हिसाब से चुनें।
वीडियो और विवरण
मॉडल दृश्य को समझता है और आपके टेक्स्ट के आधार पर उसमें आवाज़ भरता है: संवाद, आवाज़ का प्रकार, साउंड इफ़ेक्ट और बैकग्राउंड म्यूज़िक।
वीडियो, विवरण और एक आवाज़
एक रेफ़रेंस क्लिप जोड़ें, तो संवाद उसी आवाज़ में बोले जाते हैं। टाइमिंग वीडियो तय करता है और आवाज़ का स्वर रेफ़रेंस।
जो पहले से है, उसका अनुवाद करें
अगर वीडियो में पहले से अंग्रेज़ी या चीनी में बोलचाल है, तो उसे डब करने के बजाय अनुवाद करें और बोलने वाले की अपनी आवाज़ बनाए रखें।
डबिंग कहां सबसे ज़्यादा काम आती है
AI से बनी फ़ुटेज
वीडियो मॉडल के क्लिप अक्सर बिना आवाज़ के या अंदाज़े से बने साउंडट्रैक के साथ आते हैं। उन्हें वैसे संवाद और माहौल के साथ डब करें, जैसा दृश्य को सच में चाहिए।
लोकेशन पर खराब साउंड
ByteDance कम क्वालिटी वाले ऑडियो को सुधारना भी एक उपयोग बताता है: शोर से जूझने के बजाय दृश्य को साफ़ आवाज़ में दोबारा रिकॉर्ड कराएं।
शॉर्ट ड्रामा और सीरीज़
वही रेफ़रेंस क्लिप दोबारा इस्तेमाल करके किसी किरदार की आवाज़ हर एपिसोड में एक जैसी रखें।
विज्ञापन और प्रोमो
वॉइस-ओवर, प्रोडक्ट की आवाज़ और म्यूज़िक स्टिंग को फ़्रेम के हिसाब से टाइम करें, फिर अगले बाज़ार के लिए भाषा बदल दें।
Seed Audio 1.5 से वीडियो कैसे डब करें
कट तैयार करें
MP4 या MOV, 4 से 360 सेकंड, 480p से 1080p, अधिकतम 200 MB। फ़ाइनल एडिट को डब करें: कट बदला तो टाइमिंग भी बदल जाएगी।
जो सुनाई देना है, वह लिखें
संवाद उद्धरण चिह्नों में लिखें, हर आवाज़ का छोटा विवरण दें, फिर इफ़ेक्ट और म्यूज़िक बताएं। मॉडल खुद संवाद नहीं गढ़ता, इसलिए जो भी बोला जाना है, वह प्रॉम्प्ट में होना चाहिए।
जहां ज़रूरी हो, वहां टाइमिंग तय करें
जो संवाद और इफ़ेक्ट किसी कट पर ही आने चाहिए, उनके लिए [2.0s:6.5s] जैसे टाइमस्टैम्प लगाएं। बाकी मॉडल पर छोड़ दें।
ज़रूरत हो तो आवाज़ का रेफ़रेंस जोड़ें
2 से 30 सेकंड की अधिकतम छह क्लिप। किरदार जब भी बोले, हर बार वही क्लिप इस्तेमाल करें।
प्रॉम्प्ट के उदाहरण
ByteDance की प्रॉम्प्ट गाइड का सुझाव है: क्या सुनाई देना है, कैसा सुनाई देना है और क्या नहीं होना चाहिए। प्रॉम्प्ट अंग्रेज़ी में ही रखें, मॉडल उसी में निर्देश सबसे अच्छे समझता है।
बारिश वाली सड़क पर दो लोग
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
हर बोलने वाले के संवाद से पहले एक पंक्ति का विवरण और भावना दी गई है।
सटीक टाइमिंग वाला प्रोडक्ट शॉट
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
टाइमस्टैम्प क्लिक की आवाज़ को ठीक उसी फ़्रेम पर रखते हैं जहां ढक्कन खुलता है।
शुरू करने से पहले
- मॉडल स्क्रिप्ट नहीं लिखता। जिस वीडियो के प्रॉम्प्ट में कोई विवरण नहीं होता, उसमें पहले से सोचे गए संवाद नहीं बनते।
- यह सिर्फ़ ऑडियो बनाता है। स्क्रीन पर होंठों की हरकत नहीं बदलती, इसलिए संवाद वाइड शॉट, पीठ दिखाते दृश्यों, नैरेशन और एनिमेशन में सबसे अच्छे लगते हैं।
- एक रिक्वेस्ट में अधिकतम 6 मिनट का ऑडियो बनता है; लंबी फ़िल्मों को दृश्य-दर-दृश्य डब करें।
- आवाज़ का रेफ़रेंस सिर्फ़ बोलने वाले की अनुमति से इस्तेमाल करें।
AI वीडियो डबिंग: अक्सर पूछे जाने वाले सवाल
AI वीडियो डबिंग क्या है?
AI से वीडियो का साउंडट्रैक बनाना: संवाद, वॉइस-ओवर, साउंड इफ़ेक्ट और म्यूज़िक, सब स्क्रीन पर होने वाली घटनाओं के हिसाब से टाइम किए हुए। Seed Audio 1.5 में आप आवाज़ का वर्णन करते हैं और मॉडल उसे एक ही बार में तैयार कर देता है।
क्या Seed Audio 1.5 मेरे लिए संवाद भी लिखता है?
नहीं। ByteDance साफ़ कहता है कि यह अपने आप डबिंग नहीं करता। संवाद और आवाज़ का विवरण आप देते हैं; मॉडल उन्हें बोलता है और टाइम करता है।
क्या डब में कोई खास आवाज़ इस्तेमाल हो सकती है?
हां। 2 से 30 सेकंड की रेफ़रेंस क्लिप जोड़ें, तो संवाद उसी आवाज़ में बोले जाते हैं, जबकि टाइमिंग वीडियो तय करता है। एक रिक्वेस्ट में अधिकतम छह रेफ़रेंस इस्तेमाल हो सकते हैं।
क्या मैं अंग्रेज़ी के अलावा दूसरी भाषाओं में डब कर सकता हूं?
हां। Seed Audio 1.5 जापानी और कोरियाई से लेकर पोलिश, तुर्की और हिंदी तक 30 भाषाएं बोलता है।
डबिंग और वीडियो ट्रांसलेशन में क्या फ़र्क है?
डबिंग आपके विवरण से नया साउंडट्रैक बनाती है। वीडियो ट्रांसलेशन अंग्रेज़ी या चीनी में पहले से मौजूद बोलचाल को लेकर उसी आवाज़ में दूसरी भाषा में दोबारा बोलता है।
संबंधित
अपने दृश्य को वह आवाज़ दें, जो उसे चाहिए
संवाद लिखें, कमरे का माहौल बताएं, और टाइमिंग दृश्य पर छोड़ दें।
वीडियो डब करें