Перевод видео с сохранением голоса
Ваш диктор говорит по-японски, по-немецки или на хинди
Субтитры заставляют зрителя читать. Стандартный синтезированный голос звучит как другой человек. Seed Audio 1.5 озвучивает речь на другом языке, сохраняя голос говорившего, а переведённая дорожка возвращается той же длины, что и оригинал, поэтому ложится на видеоряд без подгонки.
Работает с английского или китайского на 30 языков, в том числе на русский.
Послушайте, прежде чем пробовать
Девятиминутный фильм на английском, который наша команда перевела на 12 языков с помощью Seed Audio 1.5. Запустите видео и переключите язык в разделе «Настройки» → «Звуковая дорожка»; русская дорожка там тоже есть. Обратите внимание: в каждой версии говорит один и тот же диктор.
- Исходный язык
- Английский
- Языков перевода
- 12
- Запросов
- 24
- Разница в длине
- < 0,03 с
Кому это подойдёт
YouTube-каналы
Одно видео, много звуковых дорожек. Зрители в Токио и Мадриде слышат одного и того же ведущего на своём языке, и второй раз загружать ролик не нужно.
Курсы и обучающие ролики
Голос преподавателя — часть урока. Перевод сохраняет не только слова, но и самого человека.
Видео о продуктах и реклама
Запускайте демо на новом рынке в тот же день, с ведущим, которого ваши клиенты уже знают.
Документальные фильмы и истории
Фильмы с дикторским текстом, как наш тест с Помпеями, — самый простой случай: один голос, чёткие паузы, ровный темп.
Как перевести видео с сохранением голоса
Именно в таком порядке мы работали над фильмом выше.
Проверьте исходный язык
Перевод видео возможен с английского или китайского. Модель сама определяет, какой из них в ролике, поэтому вам остаётся выбрать только язык перевода.
Режьте длинные видео по паузам
Один запрос принимает видео длительностью от 4 до 360 секунд. Наш девятиминутный фильм ушёл в работу двумя частями, 4:43 и 4:17, и каждая обрезана там, где диктор делает вдох. Разрез посреди фразы слышен в переводе.
Выпишите имена и редкие слова
Больше всего переводы ошибаются на именах собственных, устаревших и специальных словах. Добавьте их в глоссарий запроса, чтобы на всех языках они звучали одинаково.
Запускайте по одному языку
Каждый запрос возвращает один язык. В наших запусках часть длиной около четырёх с половиной минут обрабатывалась от 157 до 200 секунд.
Прослушайте перед публикацией
Включите каждый язык хотя бы раз, послушайте как минимум начало и имена. Исправить слово до загрузки гораздо дешевле, чем после того, как его заметят зрители.
Верните дорожки в видео
Переведённая дорожка той же длины, что и оригинал, поэтому совпадает с видеорядом как есть. Публикуйте отдельное видео для каждого языка или добавьте все дорожки в одно видео на YouTube.
Что меняется, а что остаётся
| Элемент видео | После перевода |
|---|---|
| Произносимый текст | Переведён на выбранный язык |
| Характер голоса | Сохраняется: тот же диктор, а не стандартный голос |
| Фоновая музыка | Сохраняется |
| Звуковые эффекты | Сохраняются |
| Длительность | Как у оригинала (в нашем тесте разница меньше 0,03 с) |
| Картинка и движение губ | Без изменений: это перевод звука, а не липсинк |
Сохранение музыки и эффектов подтверждается документацией ByteDance. В нашем тесте мы переводили только дикторский голос и сами возвращали музыку в микс.
Переводите на любой из 30 языков
С английского или китайского на:
Испанский и португальский доступны в двух вариантах. Выберите тот, на котором говорит ваша аудитория: мексиканский или кастильский испанский, бразильский или европейский португальский.
Ограничения, о которых стоит знать
- Исходный язык — английский или китайский. Видео на испанском напрямую перевести нельзя.
- Один запрос охватывает от 4 до 360 секунд видео, до 200 МБ, в разрешении 480p, 720p или 1080p.
- Имена могут менять форму от языка к языку, если не внести их в глоссарий.
- Движение губ в кадре не перерисовывается. На крупных планах говорящего лица несовпадение заметно, на дикторском тексте — нет.
- Переводите только те видео и голоса, на которые у вас есть права.
Вопросы о переводе видео с сохранением голоса
Может ли ИИ перевести видео и сохранить оригинальный голос?
Да. Перевод видео в Seed Audio 1.5 озвучивает речь на выбранном языке и сохраняет характер голоса говорящего. В нашем тесте одного и того же диктора можно было узнать на всех 12 языках.
Пропадёт ли фоновая музыка?
По данным ByteDance, при переводе видео исходная музыка и звуковые эффекты сохраняются, а заменяется только речь. В нашем тесте мы отправляли дикторский голос без музыки и сами возвращали её в микс. Это надёжный путь и для случая, когда в проекте музыка лежит на отдельной дорожке.
Совпадает ли длина переведённого аудио с длиной видео?
В нашем тесте да: каждая часть возвращалась короче исходной менее чем на 0,03 секунды, на всех языках, так что подгонять тайминг не пришлось.
Можно ли перевести видео длиннее 6 минут?
Да, по частям. Один запрос принимает до 360 секунд, поэтому разделите видео по естественным паузам, переведите каждую часть и склейте результаты. Наш девятиминутный фильм обрабатывался двумя частями.
Это липсинк?
Нет. Переводится голос, картинка остаётся прежней. Для дикторского текста, записей экрана и видео с закадровым голосом этого достаточно.
На какие языки можно переводить?
На тридцать, среди них испанский (Испания и Мексика), португальский (Бразилия и Португалия), японский, корейский, немецкий, французский, итальянский, русский, хинди, арабский, турецкий и вьетнамский. Исходным языком должен быть английский или китайский.
Что почитать дальше
Ваш голос — на следующем языке
Сначала переведите один короткий фрагмент и проверьте на слух имена. Потом займитесь всем видео.
Перевести видео