Lồng tiếng video bằng AI, khớp với hình ảnh
Giọng nói, hiệu ứng âm thanh và nhạc từ một đoạn mô tả
Phần lớn công cụ giọng nói AI chỉ đọc văn bản rồi để bạn tự canh cho khớp với bản dựng. Seed Audio 1.5 thì xem video. Bạn mô tả ai nói, nói gì, không gian nghe ra sao và nhạc diễn biến thế nào, mô hình sẽ trả về một bản âm thanh liền mạch, khớp với những gì đang hiện trên màn hình. Bạn cũng có thể lồng tiếng sang tiếng Việt.
Bạn viết lời thoại. Mô hình thể hiện chúng cùng hiệu ứng và nhạc, khớp theo hình.
Ba cách lồng tiếng
ByteDance mô tả ba chế độ làm việc với video. Hãy chọn tùy theo mức độ bạn muốn kiểm soát giọng nói.
Video và đoạn mô tả
Mô hình đọc cảnh quay và lồng tiếng theo văn bản của bạn: lời thoại, kiểu giọng, hiệu ứng và nền nhạc.
Video, đoạn mô tả và một giọng mẫu
Thêm một đoạn âm thanh tham chiếu, lời thoại sẽ được đọc bằng đúng giọng đó. Video quyết định nhịp thời gian, đoạn tham chiếu quyết định âm sắc.
Dịch phần thoại có sẵn
Nếu video đã có lời nói tiếng Anh hoặc tiếng Trung, hãy dịch thay vì viết lại và giữ nguyên giọng của chính người nói.
Khi nào lồng tiếng thực sự hữu ích
Cảnh quay do AI tạo
Clip từ các mô hình video thường không có tiếng hoặc chỉ có âm thanh đoán mò. Hãy lồng tiếng với lời thoại và không khí mà cảnh quay thực sự cần.
Âm thanh hiện trường kém
ByteDance nêu việc cải thiện âm thanh chất lượng thấp là một trường hợp sử dụng: thu lại cảnh quay cho sạch thay vì chật vật khử nhiễu.
Phim ngắn và series
Giữ giọng nhân vật nhất quán từ tập này sang tập khác bằng cách dùng lại cùng một đoạn tham chiếu.
Quảng cáo và video giới thiệu
Canh lời bình, âm thanh sản phẩm và nốt nhạc nhấn đúng từng khung hình, rồi đổi ngôn ngữ cho thị trường tiếp theo.
Cách lồng tiếng video bằng Seed Audio 1.5
Chuẩn bị bản dựng
MP4 hoặc MOV, dài 4 đến 360 giây, độ phân giải 480p đến 1080p, tối đa 200 MB. Hãy lồng tiếng cho bản dựng cuối: nếu cắt lại, thời gian cũng thay đổi theo.
Viết ra những gì sẽ nghe thấy
Lời thoại đặt trong ngoặc kép, mô tả ngắn về từng giọng, sau đó là hiệu ứng và nhạc. Mô hình không tự bịa thoại, nên mọi câu cần nói đều phải có trong prompt.
Ghim thời gian ở những chỗ quan trọng
Dùng mốc thời gian như [2.0s:6.5s] cho lời thoại và hiệu ứng cần rơi đúng vào điểm cắt. Phần còn lại cứ để mô hình xử lý.
Thêm giọng tham chiếu nếu cần
Tối đa sáu đoạn, mỗi đoạn dài 2 đến 30 giây. Hãy dùng cùng một đoạn mỗi khi nhân vật đó lên tiếng.
Prompt mẫu
Hướng dẫn viết prompt của ByteDance khuyên nên nêu: nghe thấy gì, nghe như thế nào và điều gì không được xuất hiện. Prompt giữ nguyên tiếng Anh vì mô hình hiểu chỉ dẫn tiếng Anh tốt nhất.
Hai người trên con phố mưa
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Mỗi người nói có một dòng mô tả và cảm xúc đặt trước câu thoại.
Cảnh sản phẩm với thời gian chính xác
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Mốc thời gian giữ tiếng tách rơi đúng khung hình nắp mở ra.
Trước khi bắt đầu
- Mô hình không viết kịch bản. Nếu prompt không có mô tả cho video, sẽ không có thoại nào được tạo sẵn.
- Mô hình chỉ tạo âm thanh. Khẩu hình trên màn hình không thay đổi, nên thoại hợp nhất với cảnh toàn, cảnh quay từ phía sau đầu nhân vật, lời dẫn và hoạt hình.
- Mỗi yêu cầu tạo tối đa 6 phút âm thanh; phim dài hơn hãy lồng tiếng theo từng cảnh.
- Chỉ dùng giọng tham chiếu khi có sự cho phép của người nói.
Câu hỏi thường gặp về lồng tiếng video bằng AI
Lồng tiếng video bằng AI là gì?
Là dùng AI tạo phần âm thanh cho video: thoại, lời bình, hiệu ứng và nhạc, khớp với những gì diễn ra trên màn hình. Với Seed Audio 1.5, bạn mô tả âm thanh và mô hình tạo ra trong một lần chạy.
Seed Audio 1.5 có tự viết lời thoại cho tôi không?
Không. ByteDance nói rõ mô hình không tự động lồng tiếng. Bạn cung cấp lời thoại và mô tả âm thanh; mô hình thể hiện và canh thời gian cho chúng.
Có thể lồng tiếng bằng một giọng cụ thể không?
Có. Thêm một đoạn tham chiếu dài 2 đến 30 giây, lời thoại sẽ được đọc bằng giọng đó, còn video quyết định thời gian. Một yêu cầu dùng được tối đa sáu đoạn tham chiếu.
Tôi có thể lồng tiếng bằng ngôn ngữ khác tiếng Anh không?
Có. Seed Audio 1.5 nói được 30 ngôn ngữ, trong đó có tiếng Việt, từ tiếng Nhật, tiếng Hàn đến tiếng Ba Lan, tiếng Thổ Nhĩ Kỳ và tiếng Hindi.
Lồng tiếng khác gì dịch video?
Lồng tiếng tạo bản âm thanh mới từ phần mô tả của bạn. Dịch video lấy lời nói đã có sẵn bằng tiếng Anh hoặc tiếng Trung rồi thể hiện lại bằng ngôn ngữ khác với cùng một giọng.
Xem thêm
Cho cảnh quay của bạn đúng âm thanh nó cần
Viết lời thoại, mô tả không gian, để hình ảnh quyết định nhịp thời gian.
Lồng tiếng video