Seed Audio 1.5: वीडियो को उसी आवाज़ में अनुवाद और डब करें
आवाज़, साउंड इफ़ेक्ट और म्यूज़िक के लिए एक मॉडल, जो आपके वीडियो के हिसाब से चलता है
Seed Audio 1.5 ByteDance का नया ऑडियो मॉडल है। यह वीडियो को देखता-सुनता है और उसके लिए नया साउंडट्रैक तैयार करता है: वही नैरेटर जापानी में बोलता हुआ, तस्वीर के साथ बैठने वाली डबिंग, या आवाज़, म्यूज़िक और इफ़ेक्ट अलग-अलग ट्रैक में बंटे हुए। हमने अर्ली एक्सेस में इससे 9 मिनट की एक एनिमेटेड फ़िल्म का 12 भाषाओं में अनुवाद किया। नीचे देखिए कि इसने क्या किया, कहां चूका, और वही नतीजा आप कैसे पा सकते हैं। यह 30 भाषाएं बोलता है, इसलिए आप अनुवाद हिन्दी में भी कर सकते हैं।
Doitong एक स्वतंत्र प्लेटफ़ॉर्म है और ByteDance से संबद्ध नहीं है।
हमारा टेस्ट: एक फ़िल्म, 12 भाषाएं, वही नैरेटर
हमने “The Last Ordinary Day in Pompeii” ली, जो अंग्रेज़ी नैरेशन वाली 9 मिनट की एनिमेटेड हिस्ट्री फ़िल्म है, और हर भाषा के लिए Seed Audio 1.5 वीडियो अनुवाद एक बार चलाया। वीडियो चलाइए और सेटिंग्स → ऑडियो ट्रैक खोलकर अंग्रेज़ी मूल और 12 अनुवादों के बीच बदलिए।
इस वीडियो में ऑडियो ट्रैक: अंग्रेज़ी (मूल) के साथ रूसी, जर्मन, फ़्रेंच, स्पेनिश (स्पेन), इतालवी, जापानी, कोरियाई, डच, स्वीडिश, डेनिश, नॉर्वेजियन और फ़िनिश।
- फ़िल्म की लंबाई
- 9:00
- भाषाएं
- 12
- हर रिक्वेस्ट का समय
- 2.6–3.3 मिनट
- लंबाई में अंतर
- < 0.03 सेकंड
हमने टेस्ट कैसे चलाया
ऊपर के आंकड़े हमारे अपने लॉग से हैं, किसी प्रेस रिलीज़ से नहीं। अगर आप इसे दोहराना चाहते हैं, तो तीन बातें मायने रखती हैं।
विराम पर बांटें
एक रिक्वेस्ट में 4 से 360 सेकंड का वीडियो जा सकता है, इसलिए 9 मिनट की फ़िल्म को स्वाभाविक विराम पर काटकर दो हिस्सों में भेजा गया: 4:43 और 4:17। 12 भाषाओं का मतलब 24 रिक्वेस्ट, और हर एक 157 से 200 सेकंड में लौट आई।
लंबाई वही रही
हर अनुवादित हिस्सा मूल जितनी ही लंबाई में लौटा। पहला हिस्सा स्रोत के 283.29 सेकंड के मुकाबले 283.26 सेकंड का आया, दूसरा 256.83 के मुकाबले 256.83 का, और हर भाषा में आंकड़े यही रहे। नया नैरेशन बिना रीटाइमिंग के सीधे तस्वीर पर बैठ गया।
हमने सिर्फ़ आवाज़ भेजी
हमने मॉडल को म्यूज़िक के बिना सिर्फ़ नैरेशन दिया और अपना स्कोर और इफ़ेक्ट बाद में खुद मिक्स किए। अनुवाद के भीतर म्यूज़िक और इफ़ेक्ट बनाए रखना मॉडल की बताई गई खूबी है, पर यह टेस्ट उस पर निर्भर नहीं था।
Seed Audio 1.5 क्या कर सकता है
वर्ज़न 1.5 पहला Seed Audio मॉडल है जो वीडियो स्वीकार करता है। इसी एक बदलाव से नीचे के ज़्यादातर काम संभव होते हैं।
वीडियो का उसी आवाज़ में अनुवाद
अंग्रेज़ी या चीनी से 30 भाषाओं में। आवाज़ में बोलने वाले का मिज़ाज बना रहता है, और मूल इफ़ेक्ट व बैकग्राउंड म्यूज़िक अपनी जगह रहते हैं; सिर्फ़ बोली बदलती है।
विवरण से वीडियो डबिंग
वीडियो दीजिए और बताइए कि क्या सुनाई देना चाहिए: संवाद, आवाज़ें, इफ़ेक्ट, म्यूज़िक। यह तस्वीर के साथ चलने वाला ऑडियो बनाता है। स्क्रिप्ट यह आपके लिए नहीं गढ़ेगा।
ऑडियो को स्टेम में बांटें
ऑडियो फ़ाइल दीजिए और आवाज़, इफ़ेक्ट व म्यूज़िक अलग-अलग ट्रैक में पाइए, छह तक, मिक्सिंग सेशन के लिए तैयार।
मूक क्लिप में साउंड जोड़ें
माहौल की आवाज़ें, कदमों की आहट, दरवाज़ा, म्यूज़िक बेड मांगिए, और प्रॉम्प्ट में टाइमस्टैम्प देकर हर एक को टाइमलाइन पर सही जगह रखिए।
आवाज़ क्लोन करें
2 से 30 सेकंड की छह तक रेफ़रेंस क्लिप आवाज़ का टिंबर तय करती हैं। रेफ़रेंस को वीडियो के साथ जोड़ दीजिए, तो डबिंग उसी आवाज़ में बोली जाती है।
बोल वाले गाने लिखें
टेक्स्ट ब्रीफ़ से छह मिनट तक का म्यूज़िक, जिसमें अंग्रेज़ी, चीनी, जापानी, कोरियाई या कैंटोनीज़ में गाए गए बोल हो सकते हैं।
Seed Audio 1.5 की सीमाएं
ये सीमाएं ByteDance की अर्ली एक्सेस इंटीग्रेशन गाइड से हैं। वीडियो काटने से पहले इन्हें जांच लें।
| इनपुट | सीमा |
|---|---|
| वीडियो की लंबाई | प्रति रिक्वेस्ट 4–360 सेकंड |
| वीडियो फ़ॉर्मैट | MP4, MOV |
| वीडियो रेज़ोल्यूशन | 480p, 720p या 1080p |
| वीडियो फ़ाइल का आकार | 200 MB तक |
| वॉइस रेफ़रेंस क्लिप | 6 तक, हर एक 2–30 सेकंड, कुल 180 सेकंड |
| स्टेम सेपरेशन के लिए ऑडियो | एक फ़ाइल, 2–360 सेकंड, 90 MB तक, WAV या MP3 |
| आउटपुट | मान |
|---|---|
| प्रति रिक्वेस्ट सबसे लंबा ऑडियो | 6 मिनट |
| स्टेम ट्रैक | 6 तक |
| फ़ॉर्मैट | WAV (डिफ़ॉल्ट), MP3, PCM, OGG Opus |
| डिफ़ॉल्ट सैंपल रेट | 44.1 kHz |
| बोली के लिए भाषाएं | 30 |
| वीडियो अनुवाद का स्रोत | अंग्रेज़ी या चीनी, या अपने-आप पहचानी गई भाषा |
स्रोत: ByteDance की Seed Audio 1.5 अर्ली एक्सेस इंटीग्रेशन गाइड, अक्टूबर 2026। रिलीज़ के बाद सीमाएं बदल सकती हैं।
30 भाषाएं
Seed Audio 1.5 ये भाषाएं बोलता है। वीडियो अनुवाद अंग्रेज़ी या चीनी से इनमें से किसी भी भाषा में हो सकता है।
गानों के बोल कम भाषाओं में समर्थित हैं: अंग्रेज़ी, चीनी, जापानी, कोरियाई और कैंटोनीज़।
काम करने वाले प्रॉम्प्ट
ByteDance की प्रॉम्प्ट गाइड तीन स्तर बताती है: सादा विवरण, घटनाओं का क्रम तय करने वाली स्क्रिप्ट, और सटीक सेकंड वाली टाइमलाइन। सादे प्रॉम्प्ट से शुरू करें और टाइमस्टैम्प सिर्फ़ वहीं जोड़ें जहां टाइमिंग मायने रखती है। प्रॉम्प्ट अंग्रेज़ी में ही रखे गए हैं, क्योंकि मॉडल अंग्रेज़ी निर्देश सबसे अच्छे से समझता है।
सादा वॉइस-ओवर
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
पहले पाबंदियां, फिर आवाज़, फिर सटीक शब्द। क्या नहीं आना चाहिए, यह बताना उतना ही ज़रूरी है जितना यह बताना कि क्या आना चाहिए।
टाइम किया हुआ दृश्य
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
टाइमस्टैम्प हर आवाज़ को टाइमलाइन पर उसकी जगह देते हैं, ताकि ऑडियो आपके पहले से किए गए कट्स से मेल खाए।
किन बातों का ध्यान रखें
ये वे बातें हैं जो हमें टेस्टिंग में मिलीं, और जिन्हें दस्तावेज़ीकरण साफ़ तौर पर बताता है।
- नाम और दुर्लभ शब्द अलग-अलग टेक में बदल सकते हैं। हमारी दूसरी टेस्ट फ़िल्म के रूसी अनुवाद में, जो 1666 के लंदन में सेट है, टेम्स नदी की नाव के लिए पुराना शब्द गलत आया और एक किरदार का नाम बदले रूप में आ गया। वीडियो अनुवाद में शब्दावली (ग्लossary) दी जा सकती है, इसलिए चलाने से पहले नामों की सूची दे दें।
- डबिंग के लिए विवरण चाहिए। Seed Audio 1.5 अपने से संवाद नहीं लिखता; उसे बताइए कि क्या बोला जाए और क्या सुनाई दे।
- यह आवाज़ बनाता है, होंठों की हरकत नहीं। अनुवादित आवाज़ मूल की टाइमिंग बनाए रखती है, पर स्क्रीन पर मुंह दोबारा नहीं बनाए जाते।
- एक रिक्वेस्ट 6 मिनट तक का ही होता है। लंबे वीडियो बांटने पड़ते हैं, और वाक्य के बीच में कट साफ़ सुनाई देता है, इसलिए विराम पर काटें।
- वीडियो अनुवाद अंग्रेज़ी या चीनी से शुरू होता है। किसी और भाषा के वीडियो का सीधे अनुवाद नहीं हो सकता।
- सिर्फ़ उन्हीं आवाज़ों को क्लोन करें जिनके इस्तेमाल का आपके पास अधिकार है।
Seed Audio 1.5 FAQ
Seed Audio 1.5 क्या है?
Seed Audio 1.5 ByteDance का ऑडियो जेनरेशन मॉडल है, जिसे 28 अक्टूबर 2026 को रिलीज़ किया गया। यह बोली, साउंड इफ़ेक्ट और म्यूज़िक एक ही बार में बनाता है और वीडियो स्वीकार करने वाला पहला Seed Audio वर्ज़न है, जिसकी वजह से वीडियो डबिंग और उसी आवाज़ में वीडियो अनुवाद संभव हुए हैं।
क्या Seed Audio 1.5 वीडियो का उसी आवाज़ में अनुवाद करता है?
हां। वीडियो अनुवाद बोली को दूसरी भाषा में दोबारा रिकॉर्ड करता है, बोलने वाले की आवाज़ का मिज़ाज बनाए रखता है, और मूल साउंड इफ़ेक्ट व म्यूज़िक भी रखता है। हमारे टेस्ट में 9 मिनट का अंग्रेज़ी नैरेशन 12 भाषाओं में लौटा, हर एक मूल जितनी ही लंबाई का।
Seed Audio 1.5 कौन-सी भाषाएं सपोर्ट करता है?
बोली के लिए 30 भाषाएं, जिनमें अंग्रेज़ी, चीनी, जापानी, कोरियाई, स्पेनिश (स्पेन और मेक्सिको), पुर्तगाली (ब्राज़ील और पुर्तगाल), जर्मन, फ़्रेंच, रूसी, अरबी और हिन्दी शामिल हैं। वीडियो अनुवाद अंग्रेज़ी या चीनी से इन 30 में से किसी भी भाषा में होता है।
वीडियो कितना लंबा हो सकता है?
एक रिक्वेस्ट में 4 से 360 सेकंड का वीडियो जा सकता है, 200 MB तक, 480p, 720p या 1080p में। लंबी फ़िल्म को विराम पर बांटिए और हिस्सों का एक-एक करके अनुवाद कीजिए, जैसा हमने 9 मिनट की पॉम्पेई फ़िल्म के साथ किया।
अनुवाद में कितना समय लगता है?
हमारे रन में लगभग साढ़े चार मिनट के हर हिस्से को प्रति भाषा 157 से 200 सेकंड लगे।
क्या Seed Audio 1.5 लिप सिंक करता है?
नहीं। यह ऑडियो जेनरेट करता है। अनुवादित आवाज़ मूल की टाइमिंग का पालन करती है, पर वीडियो, यानी होंठों की हरकत समेत, बदला नहीं जाता।
क्या यह वोकल्स, म्यूज़िक और साउंड इफ़ेक्ट अलग कर सकता है?
हां। 6 मिनट तक की ऑडियो फ़ाइल दीजिए, और यह आवाज़, इफ़ेक्ट और म्यूज़िक को अलग-अलग ट्रैक में लौटाता है, कुल छह तक।
Seed Audio 1.0 से क्या बदला है?
Seed Audio 1.5 में वीडियो इनपुट जुड़ा है, जिससे वीडियो डबिंग और वीडियो अनुवाद मिलता है। साथ ही स्टेम सेपरेशन और 6 मिनट तक का म्यूज़िक जुड़ा है, छह वॉइस रेफ़रेंस क्लिप तक चलती हैं, प्रति रिक्वेस्ट 6 मिनट तक का ऑडियो बनता है और 30 भाषाएं बोली जाती हैं।
क्या Seed Audio 1.5 और Seed Audio 2.0 एक ही हैं?
कुछ साइटें आने वाले मॉडल को Seed Audio 2.0 लिखती हैं। ByteDance के अर्ली एक्सेस दस्तावेज़ इसे Seed Audio 1.5 कहते हैं, और हम यही नाम इस्तेमाल करते हैं।
क्या Doitong ByteDance से जुड़ा है?
नहीं। Doitong एक स्वतंत्र AI वीडियो प्लेटफ़ॉर्म है। हमें Seed Audio 1.5 का अर्ली एक्सेस मिला था, और यहां हम अपने नतीजे बता रहे हैं।
Seed Audio 1.5 से आप क्या कर सकते हैं
अपने वीडियो को दूसरी भाषा में आवाज़ दें
एक छोटी क्लिप से शुरू करें, नाम जांच लें, फिर पूरी फ़िल्म चलाएं।
Doitong में शुरू करें