Μεταγλώττιση βίντεο με AI που ακολουθεί την εικόνα
Φωνές, ηχητικά εφέ και μουσική από μία περιγραφή
Τα περισσότερα εργαλεία φωνής με AI διαβάζουν το κείμενο στο κενό και σας αφήνουν να το ταιριάξετε εσείς με το μοντάζ. Το Seed Audio 1.5 βλέπει το βίντεο. Περιγράψτε ποιος μιλάει, τι λέει, πώς ακούγεται ο χώρος και τι κάνει η μουσική, και θα πάρετε ένα ενιαίο ηχητικό συγχρονισμένο με ό,τι εμφανίζεται στην οθόνη.
Εσείς γράφετε τις ατάκες. Το μοντέλο τις αποδίδει, με εφέ και μουσική, σε συγχρονισμό με την εικόνα. Μπορείτε να τις γράψετε και στα ελληνικά.
Τρεις τρόποι μεταγλώττισης
Η ByteDance τεκμηριώνει τρεις λειτουργίες για βίντεο. Διαλέξτε ανάλογα με το πόσο έλεγχο θέλετε στη φωνή.
Βίντεο και περιγραφή
Το μοντέλο διαβάζει τη σκηνή και την εκφωνεί με βάση το κείμενό σας: τις ατάκες, το είδος της φωνής, τα εφέ και το μουσικό υπόβαθρο.
Βίντεο, περιγραφή και φωνή
Προσθέστε ένα clip αναφοράς και οι ατάκες θα ειπωθούν με αυτή τη φωνή. Το βίντεο καθορίζει το timing, το clip αναφοράς το χρώμα της φωνής.
Μετάφραση αυτού που υπάρχει ήδη
Αν το βίντεο έχει ήδη ομιλία στα αγγλικά ή στα κινεζικά, μεταφράστε την και κρατήστε τη φωνή του ίδιου του ομιλητή.
Πού αξίζει η μεταγλώττιση
Υλικό που δημιουργήθηκε με AI
Τα clips από μοντέλα βίντεο συχνά έρχονται χωρίς ήχο ή με ένα τυχαίο ηχητικό. Μεταγλωττίστε τα με τους διαλόγους και την ατμόσφαιρα που χρειάζεται πραγματικά η σκηνή.
Κακός ήχος από το σετ
Η ByteDance αναφέρει τη βελτίωση χαμηλής ποιότητας ήχου ως περίπτωση χρήσης: ξαναπαίξτε τη σκηνή καθαρά, αντί να παλεύετε με τον θόρυβο.
Μικρές δραματικές σειρές και σίριαλ
Κρατήστε τη φωνή ενός χαρακτήρα ίδια από επεισόδιο σε επεισόδιο, χρησιμοποιώντας κάθε φορά το ίδιο clip αναφοράς.
Διαφημίσεις και promos
Συγχρονίστε με το καρέ το voice-over, τον ήχο του προϊόντος και το μουσικό σημάδι και μετά αλλάξτε γλώσσα για την επόμενη αγορά.
Πώς να μεταγλωττίσετε ένα βίντεο με το Seed Audio 1.5
Ετοιμάστε το μοντάζ
MP4 ή MOV, 4 έως 360 δευτερόλεπτα, 480p έως 1080p, έως 200 MB. Μεταγλωττίστε το τελικό μοντάζ: αν αλλάξει το κόψιμο, αλλάζει και το timing.
Γράψτε ό,τι ακούγεται
Οι ατάκες σε εισαγωγικά, μια σύντομη περιγραφή για κάθε φωνή και έπειτα τα εφέ και η μουσική. Το μοντέλο δεν επινοεί διαλόγους, οπότε ό,τι πρέπει να ειπωθεί μπαίνει στο prompt.
Καρφώστε το timing εκεί που μετράει
Χρησιμοποιήστε χρονοσημάνσεις όπως [2.0s:6.5s] για ατάκες και εφέ που πρέπει να πέσουν πάνω σε ένα κόψιμο. Τα υπόλοιπα αφήστε τα στο μοντέλο.
Προσθέστε φωνή αναφοράς, αν χρειάζεται
Έως έξι clips των 2 έως 30 δευτερολέπτων το καθένα. Χρησιμοποιείτε το ίδιο clip κάθε φορά που μιλάει ένας χαρακτήρας.
Παραδείγματα prompt
Ο οδηγός prompt της ByteDance προτείνει: τι ακούγεται, πώς ακούγεται και τι δεν πρέπει να υπάρχει. Τα παραδείγματα μένουν στα αγγλικά, γιατί το μοντέλο ακολουθεί καλύτερα αγγλικές οδηγίες.
Δύο άνθρωποι σε βροχερό δρόμο
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Κάθε ομιλητής παίρνει μια περιγραφή μίας γραμμής και ένα συναίσθημα πριν από την ατάκα.
Πλάνο προϊόντος με ακριβές timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Οι χρονοσημάνσεις κρατούν το κλικ στο καρέ όπου ανοίγει το καπάκι.
Πριν ξεκινήσετε
- Το μοντέλο δεν γράφει το σενάριο. Αν στο prompt δεν υπάρχει περιγραφή για το βίντεο, δεν θα προκύψει προγραμματισμένος διάλογος.
- Παράγει μόνο ήχο. Η κίνηση των χειλιών στην οθόνη δεν αλλάζει, γι' αυτό οι διάλογοι λειτουργούν καλύτερα σε ανοιχτά πλάνα, πλάνα με την πλάτη των ηθοποιών, αφήγηση και animation.
- Ένα αίτημα καλύπτει έως 6 λεπτά ήχου· μεταγλωττίστε μεγαλύτερες ταινίες σκηνή προς σκηνή.
- Χρησιμοποιείτε φωνές αναφοράς μόνο με την άδεια του ομιλητή.
Συχνές ερωτήσεις για τη μεταγλώττιση βίντεο με AI
Τι είναι η μεταγλώττιση βίντεο με AI;
Είναι η δημιουργία του ηχητικού ενός βίντεο με AI: διάλογοι, voice-over, ηχητικά εφέ και μουσική, συγχρονισμένα με ό,τι συμβαίνει στην οθόνη. Με το Seed Audio 1.5 περιγράφετε τον ήχο και το μοντέλο τον παράγει με μία μόνο επεξεργασία.
Γράφει το Seed Audio 1.5 τους διαλόγους για εμένα;
Όχι. Η ByteDance το δηλώνει ρητά: δεν κάνει αυτόματη μεταγλώττιση. Εσείς δίνετε τις ατάκες και μια περιγραφή του ήχου· το μοντέλο τις αποδίδει και τις συγχρονίζει.
Μπορεί η μεταγλώττιση να χρησιμοποιεί συγκεκριμένη φωνή;
Ναι. Προσθέστε ένα clip αναφοράς 2 έως 30 δευτερολέπτων και οι ατάκες θα ειπωθούν με αυτή τη φωνή, ενώ το βίντεο ελέγχει το timing. Σε ένα αίτημα μπορούν να χρησιμοποιηθούν έως έξι αναφορές.
Μπορώ να κάνω μεταγλώττιση και σε άλλες γλώσσες εκτός από τα αγγλικά;
Ναι. Το Seed Audio 1.5 μιλάει 30 γλώσσες, από τα ιαπωνικά και τα κορεατικά έως τα πολωνικά, τα τουρκικά και τα χίντι.
Σε τι διαφέρει η μεταγλώττιση από τη μετάφραση βίντεο;
Η μεταγλώττιση δημιουργεί νέο ηχητικό από την περιγραφή σας. Η μετάφραση βίντεο παίρνει ομιλία που υπάρχει ήδη στα αγγλικά ή στα κινεζικά και την ξαναδίνει σε άλλη γλώσσα με την ίδια φωνή.
Σχετικά
Δώστε στη σκηνή σας τον ήχο που χρειάζεται
Γράψτε τις ατάκες, περιγράψτε τον χώρο και αφήστε την εικόνα να ορίσει το timing.
Μεταγλωττίστε ένα βίντεο