Новости
Представляем Sonilo v1.1
Наша самая мощная модель «видео в музыку»
- Автор
- Команда Sonilo
- Опубликовано
Sonilo v1.0 доказала простую идею: всё, что нужно, чтобы подобрать музыку к видео, уже есть в самом видео. v1.1 сохраняет этот фундамент и берёт на себя ещё больше работы. Она точнее подстраивается под ваш видеоряд, сохраняет голоса, которые уже есть в видео, а когда вам нужно творческое направление, позволяет выстраивать музыку сцена за сценой. Вместо того чтобы создать один трек и надеяться, что он подойдёт, вы можете передать Sonilo готовый монтаж с сохранёнными диалогами и структурой и быть уверены, что саундтрек точно ляжет на каждую склейку.
В сравнительной оценке с v1.0 версия v1.1 выигрывает там, где работа с реальным видео сложнее всего. По четырём параметрам, которые мы размечаем для задачи «видео в музыку» (ритмическое совпадение, эмоциональное соответствие, следование запросу и музыкальность) доля сравнений, в которых оценщики предпочли v1.1 или оценили обе версии одинаково, составила от 70 до 78%, а v1.1 выбирали вместо v1.0 примерно в 1.6 раза чаще, чем наоборот.
- 70–78%
- сравнений, где v1.1 предпочли или оценили наравне с v1.0, по всем четырём параметрам «видео в музыку»
- 1.6×
- во столько раз чаще оценщики выбирали v1.1 вместо v1.0, когда отдавали предпочтение одной из версий
- 50 против 30
- предпочтение по следованию запросу, v1.1 против v1.0: самый большой разрыв из всех, что мы измерили
Послушайте разницу
Один клип, две версии
Один и тот же видеоряд с музыкой от v1.0 и от v1.1. Нажмите воспроизведение, чтобы запустить оба клипа синхронно, затем коснитесь любой стороны, чтобы сравнивать музыку по одной версии за раз.
Возможность 01
Более точная синхронизация звука
Синхронизация всегда была основой Sonilo, и в v1.1 она стала заметно точнее. Модель привязывает биты, нарастания и переходы к темпу вашего видеоряда точнее, чем v1.0, следуя за каждой склейкой и каждой сменой энергии по всему таймлайну, так что музыка звучит как написанная именно для этого монтажа, а не наложенная поверх. И, как и прежде, трек завершается естественной музыкальной концовкой, а не резким обрывом или петлёй.
Улучшения прямо видны в оценках. Демо выше показывает то же самое улучшение, только его можно услышать, а не измерить.
Разметчики предпочли v1.1 или оценили её наравне с v1.0 по ритмическому совпадению в 78% сравнений и по эмоциональному соответствию в 70%. Именно эти два параметра сильнее всего определяют, ощущается ли музыка привязанной к видео.
Возможность 02 · Новое в v1.1
Генерация с сохранением голоса
Новое в v1.1: Sonilo умеет отделять исходную речь в вашем видео и сохранять её поверх только что созданного трека. Дикторский текст, диалоги и голос в кадре остаются чёткими и на первом плане, а новая музыка звучит под ними, без ручного приглушения, перезаписи или чистки звука.
Это сделано для форматов, где исходный голос должен остаться: влогов, интервью, рекламы, туториалов и коротких роликов для соцсетей.
Возможность 03 · Новое в v1.1
Управление по сегментам
Для авторов, которым нужен точный контроль, v1.1 позволяет разрезать таймлайн и задать отдельный запрос для каждого сегмента, создавая музыку сцена за сценой. Настраивайте стиль, настроение и инструменты для каждой части и выстраивайте музыкальную структуру напрямую с помощью меток вроде вступления, куплета, припева и бриджа. Автоматический подбор музыки, когда нужна скорость, и детальный контроль, когда важен замысел, и при этом отправной точкой всегда остаётся видео.
Именно здесь v1.1 улучшилась сильнее всего. По следованию запросу разметчики предпочли v1.1 в 50% сравнений против 30% для v1.0. Это самый большой разрыв среди всех измеренных параметров и прямой результат нового управления по сегментам.
Сделано правильно
На основе профессионально лицензированной музыки
Как и в v1.0, каждый саундтрек от v1.1 оригинален, готов к продакшену и разрешён для коммерческого использования без дополнительного лицензирования, будь то контент для соцсетей, брендированное видео, игры или телевещание.
Большинство AI-инструментов для музыки относятся к лицензированию как к второстепенному вопросу и обучаются на защищённом авторским правом контенте без разрешения. Sonilo создавался иначе. Благодаря партнёрствам, таким как наше соглашение с Shutterstock, v1.1 обучена на контенте, на использование которого артисты дали согласие и за который получили вознаграждение, а каждая генерация проходит проверку content ID и модерацию, прежде чем попасть к вам. Мы считаем, что индустрии не нужно выбирать между инновациями и честностью, и v1.1 создана, чтобы это доказать.
Доступность
Запуск уже идёт
sonilo.com
Создавайте саундтреки прямо из своих видео.
Sonilo API
Эндпоинты для музыки и звуковых эффектов (ввод видео и текста) для разработчиков и платформ, с поддержкой видео длительностью до 600 секунд.
Партнёрские платформы
Доступно в Scenario и ComfyUI, а до конца года запланированы новые интеграции.