Seed Audio 1.5: একই কণ্ঠে ভিডিও অনুবাদ ও ডাবিং
কণ্ঠ, সাউন্ড ইফেক্ট ও মিউজিকের জন্য একটিই মডেল, চালিত হয় আপনার ভিডিও দিয়ে
Seed Audio 1.5 হলো ByteDance-এর নতুন অডিও মডেল। এটি একটি ভিডিও নেয়, তা শোনে এবং নতুন সাউন্ডট্র্যাক তৈরি করে: একই বর্ণনাকারী জাপানি ভাষায় কথা বলছেন, ছবির সঙ্গে মিলিয়ে করা ডাব, অথবা কণ্ঠ, মিউজিক ও ইফেক্ট আলাদা আলাদা ট্র্যাকে ভাগ করা। আর্লি অ্যাক্সেসে আমরা এটি দিয়ে 9 মিনিটের একটি অ্যানিমেটেড ফিল্ম 12 ভাষায় অনুবাদ করেছি। এখানে দেখুন এটি কী করেছে, কোথায় ভুল করেছে, আর একই ফল পেতে কী করবেন।
Doitong একটি স্বাধীন প্ল্যাটফর্ম এবং ByteDance-এর সঙ্গে যুক্ত নয়।
আমাদের পরীক্ষা: একটি ফিল্ম, 12 ভাষা, একই বর্ণনাকারী
আমরা ইংরেজি বর্ণনাসহ 9 মিনিটের অ্যানিমেটেড ইতিহাস-ফিল্ম “The Last Ordinary Day in Pompeii” নিয়ে প্রতিটি ভাষার জন্য একবার করে Seed Audio 1.5 দিয়ে ভিডিও অনুবাদ চালিয়েছি। ভিডিওটি চালান এবং সেটিংস → অডিও ট্র্যাক খুলে ইংরেজি মূল অডিও ও 12টি অনুবাদের মধ্যে বদলে নিন।
এই ভিডিওর অডিও ট্র্যাক: ইংরেজি (মূল) এবং রুশ, জার্মান, ফরাসি, স্প্যানিশ (স্পেন), ইতালীয়, জাপানি, কোরিয়ান, ডাচ, সুইডিশ, ডেনিশ, নরওয়েজীয় ও ফিনিশ।
- ফিল্মের দৈর্ঘ্য
- 9:00
- ভাষা
- 12
- প্রতি অনুরোধে সময়
- 2.6–3.3 মিনিট
- দৈর্ঘ্যের পার্থক্য
- < 0.03 সেকেন্ড
আমরা পরীক্ষাটি কীভাবে চালিয়েছি
ওপরের সংখ্যাগুলো আমাদের নিজেদের লগ থেকে নেওয়া, কোনো প্রেস বিজ্ঞপ্তি থেকে নয়। নিজে পুনরায় করতে চাইলে তিনটি বিষয় জানা দরকার।
বিরতির জায়গায় ভাগ করুন
একটি অনুরোধে 4 থেকে 360 সেকেন্ডের ভিডিও দেওয়া যায়। তাই 9 মিনিটের ফিল্মটি স্বাভাবিক বিরতির জায়গায় কেটে দুই অংশে দিয়েছি: 4:43 ও 4:17। 12টি ভাষা মানে 24টি অনুরোধ, আর প্রতিটির ফল এসেছে 157 থেকে 200 সেকেন্ডে।
দৈর্ঘ্য অপরিবর্তিত ছিল
অনুবাদ করা প্রতিটি অংশ মূলটির সমান দৈর্ঘ্যে ফিরে এসেছে। প্রথম অংশ এসেছে 283.26 সেকেন্ডে, মূলটি 283.29; দ্বিতীয় অংশ 256.83 সেকেন্ডে, মূলটিও 256.83। প্রতিটি ভাষায় সংখ্যাগুলো একই ছিল। নতুন বর্ণনা কোনো টাইমিং বদলানো ছাড়াই ছবির ওপর বসে গেছে।
আমরা শুধু কণ্ঠ পাঠিয়েছি
মডেলকে আমরা মিউজিক ছাড়া শুধু বর্ণনা দিয়েছি, আর পরে নিজেদের স্কোর ও ইফেক্ট মিশিয়েছি। অনুবাদের ভেতরে মিউজিক ও ইফেক্ট রেখে দেওয়া মডেলটির ঘোষিত বৈশিষ্ট্য, তবে এই পরীক্ষাটি তার ওপর নির্ভর করেনি।
Seed Audio 1.5 কী কী করতে পারে
ভার্সন 1.5 হলো প্রথম Seed Audio মডেল, যা ভিডিও নিতে পারে। শুধু এই একটি পরিবর্তনেই নিচের বেশির ভাগ কাজ সম্ভব হয়েছে।
একই কণ্ঠে ভিডিও অনুবাদ
ইংরেজি বা চীনা থেকে 30টি ভাষায়। বক্তার কণ্ঠের বৈশিষ্ট্য থাকে, মূল সাউন্ড ইফেক্ট ও ব্যাকগ্রাউন্ড মিউজিক যেমন ছিল তেমনই থাকে, শুধু কথা বদলায়।
বর্ণনা থেকে ভিডিও ডাবিং
একটি ভিডিও দিন এবং কী শোনা যাবে তা লিখুন: সংলাপ, কণ্ঠ, ইফেক্ট, মিউজিক। এটি ছবির সঙ্গে মিলিয়ে অডিও তৈরি করে। তবে আপনার হয়ে স্ক্রিপ্ট বানাবে না।
অডিও স্টেমে ভাগ করুন
একটি অডিও ফাইল দিন, কণ্ঠ, ইফেক্ট ও মিউজিক আলাদা ট্র্যাকে ফিরে পাবেন, সর্বোচ্চ ছয়টি, মিক্সিং সেশনের জন্য প্রস্তুত।
নীরব ক্লিপে সাউন্ড যোগ করুন
পরিবেশের শব্দ, পায়ের আওয়াজ, দরজা, মিউজিক বেড চেয়ে নিন এবং প্রম্পটে টাইমস্ট্যাম্প দিয়ে প্রতিটিকে টাইমলাইনে বসান।
কণ্ঠ ক্লোন করুন
2 থেকে 30 সেকেন্ডের সর্বোচ্চ ছয়টি রেফারেন্স ক্লিপ কণ্ঠের টিম্বর ঠিক করে দেয়। রেফারেন্সের সঙ্গে ভিডিও দিলে ডাবটি সেই কণ্ঠেই বলা হয়।
লিরিকসহ গান লিখুন
টেক্সট ব্রিফ থেকে ছয় মিনিট পর্যন্ত মিউজিক, সঙ্গে ইংরেজি, চীনা, জাপানি, কোরিয়ান বা ক্যান্টোনিজ ভাষায় গাওয়া লিরিক।
Seed Audio 1.5-এর সীমা
সীমাগুলো ByteDance-এর আর্লি অ্যাক্সেস ইন্টিগ্রেশন গাইড থেকে নেওয়া। ভিডিও কাটার আগে মিলিয়ে নিন।
| ইনপুট | সীমা |
|---|---|
| ভিডিওর দৈর্ঘ্য | প্রতি অনুরোধে 4–360 সেকেন্ড |
| ভিডিও ফরম্যাট | MP4, MOV |
| ভিডিও রেজোলিউশন | 480p, 720p বা 1080p |
| ভিডিও ফাইলের আকার | 200 MB পর্যন্ত |
| কণ্ঠের রেফারেন্স ক্লিপ | সর্বোচ্চ 6টি, প্রতিটি 2–30 সেকেন্ড, মোট 180 সেকেন্ড |
| স্টেম আলাদা করার অডিও | একটি ফাইল, 2–360 সেকেন্ড, 90 MB পর্যন্ত, WAV বা MP3 |
| আউটপুট | মান |
|---|---|
| প্রতি অনুরোধে সর্বোচ্চ অডিও | 6 মিনিট |
| স্টেম ট্র্যাক | সর্বোচ্চ 6টি |
| ফরম্যাট | WAV (ডিফল্ট), MP3, PCM, OGG Opus |
| ডিফল্ট স্যাম্পল রেট | 44.1 kHz |
| কথার ভাষা | 30 |
| ভিডিও অনুবাদের উৎস | ইংরেজি বা চীনা, অথবা স্বয়ংক্রিয়ভাবে শনাক্ত |
সূত্র: ByteDance Seed Audio 1.5 আর্লি অ্যাক্সেস ইন্টিগ্রেশন গাইড, অক্টোবর 2026। প্রকাশের পর সীমা বদলাতে পারে।
30টি ভাষা
Seed Audio 1.5 এই ভাষাগুলোতে কথা বলে। ভিডিও অনুবাদ ইংরেজি বা চীনা থেকে এর যেকোনো একটিতে করা যায়।
গানের লিরিক তুলনামূলক ছোট একটি তালিকায় সমর্থিত: ইংরেজি, চীনা, জাপানি, কোরিয়ান ও ক্যান্টোনিজ।
যে প্রম্পট কাজ করে
ByteDance-এর প্রম্পট গাইডে তিনটি স্তরের কথা আছে: সাধারণ বর্ণনা, ঘটনার ক্রম ঠিক করে দেওয়া স্ক্রিপ্ট, এবং সুনির্দিষ্ট সেকেন্ডসহ টাইমলাইন। সাধারণ বর্ণনা দিয়ে শুরু করুন, টাইমিং যেখানে জরুরি শুধু সেখানেই টাইমস্ট্যাম্প যোগ করুন। প্রম্পটের উদাহরণ ইংরেজিতেই থাকে, কারণ মডেল ইংরেজি নির্দেশনা সবচেয়ে ভালো বোঝে।
সাধারণ ভয়েস-ওভার
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
আগে বাধ্যবাধকতা, তারপর কণ্ঠ, তারপর হুবহু শব্দ। কী থাকবে না তা বলে দেওয়া কী থাকবে তা বলার মতোই গুরুত্বপূর্ণ।
টাইমিংসহ একটি দৃশ্য
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
টাইমস্ট্যাম্প প্রতিটি শব্দকে টাইমলাইনে বসিয়ে দেয়, ফলে আপনার আগে থেকে করা কাটগুলোর সঙ্গে অডিও মিলে যায়।
যা খেয়াল রাখবেন
পরীক্ষায় আমরা যেসব সমস্যায় পড়েছি, আর ডকুমেন্টেশনে যা স্পষ্টভাবে বলা আছে।
- নাম ও বিরল শব্দ এক টেক থেকে আরেক টেকে বদলে যেতে পারে। 1666 সালের লন্ডনের পটভূমিতে আমাদের দ্বিতীয় পরীক্ষার ফিল্মের রুশ অনুবাদে টেমস নদীর নৌকার পুরোনো শব্দটি ভুল এসেছে, আর একটি চরিত্রের নামের রূপ বদলে গেছে। ভিডিও অনুবাদে গ্লসারি দেওয়া যায়, তাই চালানোর আগে নামগুলো তালিকাভুক্ত করে নিন।
- ডাবিংয়ের জন্য বর্ণনা দিতে হয়। Seed Audio 1.5 নিজে থেকে সংলাপ লেখে না; কী বলা হবে আর কী শোনা যাবে তা আপনাকে জানাতে হবে।
- এটি শব্দ তৈরি করে, ঠোঁটের নড়াচড়া নয়। অনুবাদ করা কণ্ঠ মূলটির টাইমিং ধরে রাখে, কিন্তু পর্দার মুখের নড়াচড়া নতুন করে আঁকা হয় না।
- একটি অনুরোধে সর্বোচ্চ 6 মিনিট। বড় ভিডিও ভাগ করতে হবে, আর বাক্যের মাঝখানে কাটলে তা কানে ধরা পড়ে, তাই বিরতির জায়গায় কাটুন।
- ভিডিও অনুবাদ শুরু হয় ইংরেজি বা চীনা থেকে। অন্য ভাষার ভিডিও সরাসরি অনুবাদ করা যায় না।
- শুধু সেই কণ্ঠই ক্লোন করুন, যা ব্যবহারের অধিকার আপনার আছে।
Seed Audio 1.5 সম্পর্কে সাধারণ প্রশ্ন
Seed Audio 1.5 কি ভিডিও বাংলায় অনুবাদ বা ডাব করতে পারে?
এখনো না। প্রকাশের সময় Seed Audio 1.5 যে 30টি ভাষায় কথা বলে, বাংলা তার মধ্যে নেই। তবে ইংরেজি বা চীনা ভাষার ভিডিও আপনি হিন্দি, আরবি, মালয় বা ইন্দোনেশীয় ভাষায় অনুবাদ করতে পারেন, যেগুলো বাংলাভাষী দর্শকদের প্রায়ই কাজে লাগে।
Seed Audio 1.5 কী?
Seed Audio 1.5 ByteDance-এর একটি অডিও জেনারেশন মডেল, যা 28 অক্টোবর 2026 প্রকাশিত হয়েছে। এটি এক ধাপেই কথা, সাউন্ড ইফেক্ট ও মিউজিক তৈরি করে এবং Seed Audio-র প্রথম ভার্সন, যা ভিডিও নিতে পারে। এর ফলেই ভিডিও ডাবিং ও একই কণ্ঠে ভিডিও অনুবাদ সম্ভব হয়েছে।
Seed Audio 1.5 কি একই কণ্ঠে ভিডিও অনুবাদ করে?
হ্যাঁ। ভিডিও অনুবাদ কথাকে অন্য ভাষায় নতুন করে বলে, কিন্তু বক্তার কণ্ঠের বৈশিষ্ট্য এবং মূল সাউন্ড ইফেক্ট ও মিউজিক রেখে দেয়। আমাদের পরীক্ষায় 9 মিনিটের একটি ইংরেজি বর্ণনা 12 ভাষায় ফিরে এসেছে, প্রতিটি মূলটির সমান দৈর্ঘ্যে।
Seed Audio 1.5 কোন কোন ভাষা সমর্থন করে?
কথার জন্য 30টি ভাষা, যার মধ্যে আছে ইংরেজি, চীনা, জাপানি, কোরিয়ান, স্প্যানিশ (স্পেন ও মেক্সিকো), পর্তুগিজ (ব্রাজিল ও পর্তুগাল), জার্মান, ফরাসি, রুশ, আরবি ও হিন্দি। ভিডিও অনুবাদ ইংরেজি বা চীনা থেকে এই 30টির যেকোনোটিতে করা যায়।
ভিডিও কত লম্বা হতে পারে?
একটি অনুরোধে 4 থেকে 360 সেকেন্ডের ভিডিও নেওয়া হয়, 200 MB পর্যন্ত, 480p, 720p বা 1080p-এ। বড় ফিল্ম হলে বিরতির জায়গায় ভাগ করে অংশগুলো একে একে অনুবাদ করুন, যেমন আমরা 9 মিনিটের Pompeii ফিল্মের ক্ষেত্রে করেছি।
একটি অনুবাদে কত সময় লাগে?
আমাদের পরীক্ষায় প্রায় সাড়ে চার মিনিটের প্রতিটি অংশ প্রতি ভাষায় 157 থেকে 200 সেকেন্ড সময় নিয়েছে।
Seed Audio 1.5 কি লিপ সিঙ্ক করে?
না। এটি অডিও তৈরি করে। অনুবাদ করা কণ্ঠ মূলটির টাইমিং অনুসরণ করে, কিন্তু ঠোঁটের নড়াচড়াসহ ভিডিও নিজে বদলানো হয় না।
এটি কি ভোকাল, মিউজিক ও সাউন্ড ইফেক্ট আলাদা করতে পারে?
হ্যাঁ। 6 মিনিট পর্যন্ত একটি অডিও ফাইল দিন, কণ্ঠ, ইফেক্ট ও মিউজিক আলাদা ট্র্যাকে ফিরে পাবেন, মোট সর্বোচ্চ ছয়টি।
Seed Audio 1.0 থেকে কী বদলেছে?
Seed Audio 1.5-এ ভিডিও ইনপুট যুক্ত হয়েছে, যার মাধ্যমে ভিডিও ডাবিং ও ভিডিও অনুবাদ সম্ভব হয়েছে। এছাড়া যুক্ত হয়েছে স্টেম আলাদা করা ও ছয় মিনিট পর্যন্ত মিউজিক; সর্বোচ্চ ছয়টি ভয়েস রেফারেন্স ক্লিপ নেওয়া যায়, প্রতি অনুরোধে 6 মিনিট পর্যন্ত অডিও তৈরি হয় এবং এটি 30টি ভাষায় কথা বলে।
Seed Audio 1.5 কি Seed Audio 2.0-এর মতোই?
কিছু সাইট আসন্ন মডেলটিকে Seed Audio 2.0 নামে তালিকাভুক্ত করেছে। ByteDance-এর আর্লি অ্যাক্সেস ডকুমেন্টেশনে এর নাম Seed Audio 1.5, আর আমরাও সেই নামই ব্যবহার করি।
Doitong কি ByteDance-এর সঙ্গে যুক্ত?
না। Doitong একটি স্বাধীন AI ভিডিও প্ল্যাটফর্ম। আমরা Seed Audio 1.5-এর আর্লি অ্যাক্সেস পেয়েছি এবং এখানে আমাদের নিজেদের ফল তুলে ধরেছি।
Seed Audio 1.5 দিয়ে আপনি কী করতে পারেন
আপনার ভিডিওকে অন্য ভাষায় কণ্ঠ দিন
একটি ছোট ক্লিপ দিয়ে শুরু করুন, নামগুলো যাচাই করুন, তারপর পুরো ফিল্মটি চালান।
Doitong-এ শুরু করুন