Озвучка видео · Seed Audio 1.5

ИИ-озвучка видео, которая следует за картинкой

Голоса, звуковые эффекты и музыка по одному описанию

Большинство ИИ-инструментов для озвучки читают текст «в пустоту», а подгонять звук под монтаж приходится вам. Seed Audio 1.5 смотрит на видео. Опишите, кто говорит, что именно, как звучит помещение и что делает музыка, и модель вернёт единую звуковую дорожку, совпадающую с происходящим на экране. Озвучивать можно и на русском.

Озвучить видео

Реплики пишете вы. Модель исполняет их, добавляет эффекты и музыку, точно по времени и в такт картинке.

Три способа озвучить видео

В документации ByteDance описаны три режима работы с видео. Выбирайте по тому, насколько точно нужно контролировать голос.

Видео и описание

Модель анализирует сцену и озвучивает её по вашему тексту: реплики, тип голоса, эффекты и музыкальную подложку.

Видео, описание и голос

Добавьте референс, и реплики прозвучат этим голосом. Тайминг задаёт видео, тембр задаёт референс.

Перевод уже имеющейся речи

Если в видео уже есть речь на английском или китайском, переведите её и сохраните голос самого говорящего.

Перевести видео →

Где озвучка особенно полезна

Видео, созданное ИИ

Ролики из видеомоделей часто приходят без звука или с «угаданной» дорожкой. Озвучьте их диалогами и атмосферой, которые действительно нужны сцене.

Плохой звук на съёмке

ByteDance называет улучшение некачественного аудио одним из сценариев: перезапишите сцену начисто, а не борьтесь с шумом.

Короткие драмы и сериалы

Сохраняйте голос персонажа одинаковым от серии к серии, используя один и тот же референс.

Реклама и промо

Привяжите к кадру закадровый голос, звук продукта и музыкальный акцент, а затем смените язык для следующего рынка.

Как озвучить видео в Seed Audio 1.5

Подготовьте монтаж

MP4 или MOV, от 4 до 360 секунд, от 480p до 1080p, до 200 МБ. Озвучивайте финальную версию: если монтаж изменится, изменится и тайминг.

Опишите, что должно звучать

Реплики в кавычках, краткое описание каждого голоса, затем эффекты и музыка. Модель не придумывает диалоги, поэтому всё, что должно прозвучать, нужно указать в промпте.

Зафиксируйте тайминг там, где это важно

Используйте метки времени вроде [2.0s:6.5s] для реплик и эффектов, которые должны попасть в склейку. Остальное оставьте модели.

При необходимости добавьте референс голоса

До шести клипов длиной от 2 до 30 секунд каждый. Каждый раз, когда говорит один и тот же персонаж, используйте один и тот же клип.

Примеры промптов

Промпты пишите на английском: так модель лучше понимает режиссёрские указания. В руководстве ByteDance советуют описывать, что слышно, как это звучит и чего быть не должно.

Двое на улице под дождём

Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.

Для каждого говорящего перед репликой указаны описание голоса в одну строку и эмоция.

Кадр с продуктом и точным таймингом

[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.

Метки времени помогают совместить щелчок с кадром, в котором открывается крышка.

Прежде чем начать

Модель не пишет сценарий. Если в промпте нет описания, запланированных диалогов в видео не будет.
Создаётся только звук. Движение губ на экране не меняется, поэтому диалоги лучше всего работают на общих планах, в кадрах со спины, в закадровом тексте и в анимации.
Один запрос — до 6 минут аудио; более длинные фильмы озвучивайте по сценам.
Используйте референсы голоса только с разрешения говорящего.

ИИ-озвучка видео: вопросы и ответы

Что такое ИИ-озвучка видео?

Это создание звуковой дорожки для видео с помощью ИИ: диалогов, закадрового голоса, звуковых эффектов и музыки, синхронизированных с происходящим на экране. В Seed Audio 1.5 вы описываете звук, а модель создаёт его за один проход.

Пишет ли Seed Audio 1.5 диалоги за меня?

Нет. ByteDance прямо указывает, что автоматической озвучки здесь нет. Вы задаёте реплики и описание звука, а модель исполняет их и подгоняет по времени.

Можно ли озвучить видео конкретным голосом?

Да. Добавьте референс длиной от 2 до 30 секунд, и реплики прозвучат этим голосом, а тайминг определит видео. В одном запросе можно использовать до шести референсов.

Можно ли озвучивать не только на английском?

Да. Seed Audio 1.5 говорит на 30 языках, включая русский, японский, корейский, польский, турецкий и хинди.

Чем озвучка отличается от перевода видео?

Озвучка создаёт новую звуковую дорожку по вашему описанию. Перевод видео берёт уже существующую речь на английском или китайском и озвучивает её на другом языке тем же голосом.

Подарите своей сцене нужный звук

Напишите реплики, опишите помещение, а тайминг пусть задаст картинка.