Новости
Представляем Sonilo Sound Effects 1.0
Шаг к Sound World Model для видео
- Автор
- Команда Sonilo
- Опубликовано
У сгенерированного звука один критерий: вы в него верите или нет. Спортивный автомобиль либо звучит как именно этот двигатель, на этой скорости и с этого расстояния, либо весь кадр кажется фальшивым.
Мы построили Sonilo Sound Effects 1.0 вокруг этого стандарта. Это ещё один шаг к Sound World Model для видео: модели, которая понимает, что происходит на экране, когда это происходит, как быстро движется, насколько далеко находится и каким должен ощущаться этот момент.
Загрузите видео, и Sonilo вернёт оригинальную музыку и звуковые эффекты, расставленные по действию, в одном готовом треке. Или начните с текстового запроса и сразу создайте оригинальные звуковые эффекты. Каждый трек лицензирован.
Бенчмарки
Лидер бенчмарков
Мы оценили Sonilo Sound Effects 1.0 и Sonilo Music 1.1 с помощью audio-eval, открытого набора инструментов для бенчмаркинга сгенерированного аудио. Он оценивает каждую модель по стандартным перцептивным и распределительным метрикам, включая CLAP similarity, Fréchet Distance, KL-дивергенцию, Audiobox Aesthetics, DeSync и ImageBind alignment, на пяти признанных оценочных наборах.
На CineBench, нашем внутреннем оценочном наборе «видео в звуковые эффекты», Sonilo Sound Effects 1.0 опередила Mirelo v1.6 по 15 из 15 метрик.
- 27 из 30
- метрик «видео в звуковые эффекты» на Movie Gen Audio Bench и CineBench, где мы впереди Mirelo v1.6
- 16 из 24
- метрик «текст в звуковые эффекты» на Clotho и AudioCaps, где мы впереди ElevenLabs SFX v2 и Mirelo v1.6
- 10 из 13
- метрик MusicCaps, где Sonilo Music 1.1 опережает Suno v5.5
Бенчмарк: видео в звуковые эффекты
Movie Gen Audio Bench и CineBench
Sonilo Sound Effects 1.0 против Mirelo v1.6 по метрикам DeSync (насколько звук расходится с действием), ImageBind alignment (подходит ли звук к тому, что на экране), KL-дивергенция, Inception Score, Audiobox Aesthetics и Fréchet Distance.
Бенчмарк: текст в звуковые эффекты
Clotho и AudioCaps
Sonilo Sound Effects 1.0 против ElevenLabs SFX v2 и Mirelo v1.6 на том же наборе метрик плюс CLAP similarity для оценки соответствия запросу.
Бенчмарк: текст в музыку
MusicCaps
Sonilo Music 1.1 против Suno v5.5 на том же наборе метрик, что используется для генерации музыки из текста.
Возможность 01
Расстановку определяет видео, а не ваш таймлайн
Решение, о котором мы хотим рассказать, в демо не видно. Мы могли бы выпустить отдельные звуковые клипы и оставить расстановку вам. Для демо такой вариант сгодится. Но тогда вам по-прежнему пришлось бы искать по библиотекам, нарезать клипы и подгонять звук вручную, а именно эту работу мы и хотели убрать.
Поэтому модель сначала изучает отснятый материал и только потом что-то создаёт: тайминг, темп, действие и эмоции каждой сцены. Ей нужно знать, когда двигатель набирает обороты, прежде чем создать этот рёв.
Возможность 02
Музыка и эффекты в одном готовом треке
С музыкой то же самое. Она следует за историей, а не крутится по кругу под ней, и создаётся из той же загрузки, что и эффекты. Один готовый сбалансированный трек, а не стопка клипов, которые вам придётся сводить самим.
В долгосрочной перспективе мы движемся к Sound World Model: одной модели, которая считывает происходящее на экране и создаёт для него саундтрек от начала до конца. Музыка передаёт эмоции. Звуковые эффекты создают ощущение присутствия.
Скажите нам, верите ли вы этому двигателю.
Доступность