دوبله ویدیو با هوش مصنوعی، هماهنگ با تصویر
صدا، افکت و موسیقی از روی یک توضیح
بیشتر ابزارهای صدای هوش مصنوعی متن را بی‌توجه به تصویر می‌خوانند و هماهنگ‌کردنش با تدوین را به عهده شما می‌گذارند. Seed Audio 1.5 ویدیو را می‌بیند. بنویسید چه کسی حرف می‌زند، چه میگوید، فضا چه صدایی دارد و موسیقی چه میکند؛ در عوض یک صداگذاری کامل می‌گیرید که با تصویر روی صفحه زمانبندی شده است.
دیالوگها را شما می‌نویسید. مدل آنها را اجرا میکند، با افکت و موسیقی و در هماهنگی با تصویر.
سه روش برای دوبله
ByteDance سه حالت ویدیویی را مستند کرده است. انتخاب شما به این بستگی دارد که چقدر کنترل روی صدا می‌خواهید.
ویدیو و یک توضیح
مدل صحنه را می‌خواند و از روی متن شما صداگذاری میکند: دیالوگها، نوع صدا، افکت‌ها و موسیقی زمینه.
ویدیو، توضیح و یک صدا
یک کلیپ مرجع اضافه کنید تا دیالوگها با همان صدا گفته شوند. ویدیو زمانبندی را تعیین میکند و کلیپ مرجع رنگ صدا را.
ترجمهی گفتار موجود
اگر ویدیو از قبل گفتار انگلیسی یا چینی دارد، آن را ترجمه کنید و صدای خود گوینده را حفظ کنید.
دوبله کجا به کار می‌آید
ویدیوهای تولیدشده با هوش مصنوعی
کلیپ‌های مدل‌های ویدیویی اغلب بی‌صدا هستند یا صدایی حدسی دارند. آنها را با دیالوگ و فضای صوتی‌ای که صحنه واقعاً لازم دارد دوبله کنید.
صدای ضعیف لوکیشن
ByteDance بهبود صدای کم‌کیفیت را یکی از کاربردها می‌داند: به‌جای کلنجار رفتن با نویز، صحنه را تمیز دوباره اجرا کنید.
درام‌های کوتاه و سریال‌ها
با استفاده‌ی دوباره از همان کلیپ مرجع، صدای هر شخصیت را از قسمتی به قسمت دیگر یکسان نگه دارید.
تبلیغات و پروموها
گوینده، صدای محصول و ضربه‌ی موسیقی را روی فریم دقیق تنظیم کنید و برای بازار بعدی زبان را عوض کنید.
چطور ویدیو را با Seed Audio 1.5 دوبله کنیم
نسخه‌ی تدوین‌شده را آماده کنید
MP4 یا MOV، بین ۴ تا ۳۶۰ ثانیه، با کیفیت 480p تا 1080p و حداکثر ۲۰۰ مگابایت. نسخه‌ی نهایی تدوین را دوبله کنید: اگر برش‌ها عوض شوند، زمانبندی هم عوض میشود.
آنچه شنیده میشود را بنویسید
دیالوگها را داخل گیومه بنویسید، سپس توضیح کوتاهی از هر صدا، و بعد افکت‌ها و موسیقی. مدل دیالوگ از خودش نمی‌سازد، پس هرچه باید گفته شود باید در پرامپت باشد.
زمانبندی را جایی که مهم است ثابت کنید
برای دیالوگها و افکت‌هایی که باید دقیقاً روی یک برش بنشینند از تایم‌استمپ مثل [2.0s:6.5s] استفاده کنید. بقیه را به مدل بسپارید.
در صورت نیاز صدای مرجع اضافه کنید
تا شش کلیپ، هرکدام ۲ تا ۳۰ ثانیه. هر بار که یک شخصیت حرف می‌زند همان کلیپ را به کار ببرید.
نمونه پرامپت‌ها
راهنمای پرامپت ByteDance این ترتیب را پیشنهاد میکند: چه چیزی شنیده میشود، چه صدایی دارد و چه چیزی نباید باشد. پرامپت‌ها را به انگلیسی بنویسید.
دو نفر در خیابانی بارانی
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
برای هر گوینده، پیش از دیالوگ یک توضیح یک‌خطی و یک احساس نوشته شده است.
نمای محصول با زمانبندی دقیق
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
تایم‌استمپ‌ها باعث می‌شوند صدای کلیک دقیقاً روی فریمی بنشیند که در باز میشود.
پیش از شروع
- مدل فیلمنامه نمی‌نویسد. اگر در پرامپت توضیحی برای ویدیو ندهید، دیالوگ برنامه‌ریزی‌شده‌ای هم نخواهید داشت.
- فقط صدا تولید میشود. حرکت لب‌ها روی تصویر تغییری نمی‌کند، برای همین دیالوگ در نماهای دور، نماهای پشت سر، روایت‌گری و انیمیشن بهتر جواب می‌دهد.
- هر درخواست تا ۶ دقیقه صدا تولید میکند؛ فیلم‌های بلندتر را صحنه‌به‌صحنه دوبله کنید.
- از صدای مرجع فقط با اجازه‌ی صاحب صدا استفاده کنید.
پرسش‌های متداول درباره‌ی دوبله ویدیو با هوش مصنوعی
آیا Seed Audio 1.5 می‌تواند ویدیو را به فارسی ترجمه یا دوبله کند؟
هنوز نه؛ فارسی جزو ۳۰ زبانی نیست که Seed Audio 1.5 در زمان عرضه به آنها صحبت میکند. اما ویدیوهای انگلیسی یا چینی را می‌توانید به زبان‌هایی ترجمه کنید که احتمالاً به آنها هم نیاز دارید، مثل عربی، ترکی، روسی، هندی و آلمانی.
دوبله ویدیو با هوش مصنوعی یعنی چه؟
یعنی ساختن صداگذاری ویدیو با هوش مصنوعی: دیالوگ، گویندگی، افکت صوتی و موسیقی، هماهنگ با آنچه روی صفحه اتفاق می‌افتد. در Seed Audio 1.5 صدا را توصیف می‌کنید و مدل همه‌چیز را یک‌جا تولید میکند.
آیا Seed Audio 1.5 دیالوگ را برای من مینویسد؟
نه. ByteDance صریحاً میگوید دوبلهی خودکار انجام نمیدهد. دیالوگها و توضیح صدا را شما میدهید؛ مدل آنها را اجرا و زمانبندی میکند.
آیا میشود دوبله را با صدای مشخصی انجام داد؟
بله. یک کلیپ مرجع ۲ تا ۳۰ ثانیهای اضافه کنید تا دیالوگها با همان صدا گفته شوند، در حالی که زمانبندی را ویدیو تعیین میکند. در هر درخواست تا شش مرجع قابل استفاده است.
آیا میتوانم به زبانی غیر از انگلیسی دوبله کنم؟
بله. Seed Audio 1.5 به ۳۰ زبان صحبت میکند، از ژاپنی و کرهای تا لهستانی، ترکی و هندی. فارسی هنوز جزو این زبانها نیست.
دوبله با ترجمهی ویدیو چه فرقی دارد؟
دوبله از روی توضیح شما یک صداگذاری تازه میسازد. ترجمهی ویدیو گفتاری را که از قبل به انگلیسی یا چینی در ویدیو هست برمیدارد و با همان صدا به زبان دیگری بازگویی میکند.
مطالب مرتبط
به صحنه‌تان صدایی بدهید که لازم دارد
دیالوگها را بنویسید، فضا را توصیف کنید و بگذارید تصویر زمانبندی را تعیین کند.
دوبله ویدیو