新闻
介绍 Sonilo Sound Effects 1.0
迈向视频 Sound World Model 的一步
- 作者
- Sonilo 团队
- 发布于
生成的声音只有一道及格线：你信，或者不信。一辆跑车的声音，必须对得上那台引擎、那个车速、那个距离，否则整个镜头都会显得很假。
我们围绕这个标准打造了 Sonilo Sound Effects 1.0。这是我们迈向视频 Sound World Model 的又一步：一个能理解画面里正在发生什么、何时发生、移动多快、距离多远，以及这一刻应该带来什么感受的模型。
上传一段视频，Sonilo 会生成原创音乐和音效，并精准放到画面动作上，作为一条完整音轨交付给您。您也可以从文本提示词开始，直接生成原创音效。每一条音轨都附带授权。
基准测试
基准测试全面领先
我们使用开源的生成音频基准测试工具包 audio-eval，对 Sonilo Sound Effects 1.0 和 Sonilo Music 1.1 进行了评测。它在五个成熟的评测集上，用标准的感知指标和分布指标为每个模型打分，包括 CLAP 相似度、Fréchet Distance、KL 散度、Audiobox Aesthetics、DeSync 和 ImageBind 对齐度。
在我们内部的视频转音效评测集 CineBench 上，Sonilo Sound Effects 1.0 对比 Mirelo v1.6 15 项指标全部领先。
- 27/30
- 在 Movie Gen Audio Bench 和 CineBench 上领先 Mirelo v1.6 的视频转音效指标
- 16/24
- 在 Clotho 和 AudioCaps 上领先 ElevenLabs SFX v2 与 Mirelo v1.6 的文本转音效指标
- 10/13
- Sonilo Music 1.1 领先 Suno v5.5 的 MusicCaps 指标
视频转音效基准测试
Movie Gen Audio Bench 与 CineBench
Sonilo Sound Effects 1.0 对比 Mirelo v1.6，评测指标包括 DeSync（声音与动作的偏移程度）、ImageBind 对齐度（声音是否契合画面内容）、KL 散度、Inception Score、Audiobox Aesthetics 和 Fréchet Distance。
文本转音效基准测试
Clotho 与 AudioCaps
Sonilo Sound Effects 1.0 对比 ElevenLabs SFX v2 和 Mirelo v1.6，使用同一套指标，并加入衡量提示词匹配度的 CLAP 相似度。
文本转音乐基准测试
MusicCaps
Sonilo Music 1.1 对比 Suno v5.5，使用与文本转音乐生成相同的一套指标。
能力 01
由视频决定声音放在哪，而不是您的时间线
我们想聊的，是演示里看不到的那个决定。我们本可以只交付零散的音效片段，把摆放的工作留给您。那样的版本演示起来没问题，但您仍然得翻素材库、剪片段、手动对齐声音，而这恰恰是我们想要消除的工作。
所以模型在生成任何东西之前，会先读懂画面：每个场景的时机、节奏、动作和情绪。它必须先知道引擎何时轰鸣，才能生成那声轰鸣。
能力 02
音乐与音效，一条完整音轨
音乐也是同样的道理。它跟随故事推进，而不是在画面下方循环播放，并且和音效来自同一次上传。交付的是一条混音均衡的完整音轨，而不是一堆等您自己去混的片段。
更长远的目标是 Sound World Model：用一个模型读懂画面中发生的一切，并端到端地为它生成配乐。音乐承载情绪，音效营造临场感。
这台引擎的声音，您信吗？告诉我们。
可用情况