新聞
介紹 Sonilo Sound Effects 1.0
邁向影片 Sound World Model 的一步
- 作者
- Sonilo 團隊
- 發布於
生成的聲音只有一個合格標準：你信，還是不信。一輛跑車的聲音，必須配得上那部引擎、那個車速、那段距離，否則整個鏡頭都會顯得很假。
我們以這個標準打造 Sonilo Sound Effects 1.0。這是我們邁向影片 Sound World Model 的又一步：一個能理解畫面上正在發生甚麼、何時發生、移動多快、距離多遠，以及這一刻應帶來甚麼感受的模型。
上載一段影片，Sonilo 會生成原創音樂和音效，並準確配合畫面動作，作為一條完整音軌交付給您。您亦可以從文字提示開始，直接生成原創音效。每一條音軌均已獲授權。
基準測試
基準測試全面領先
我們使用開源的生成音訊基準測試工具包 audio-eval，評估了 Sonilo Sound Effects 1.0 和 Sonilo Music 1.1。它在五個成熟的評估數據集上，以標準的感知指標和分佈指標為每個模型評分，包括 CLAP 相似度、Fréchet Distance、KL 散度、Audiobox Aesthetics、DeSync 及 ImageBind 對齊度。
在我們內部的影片轉音效評估數據集 CineBench 上，Sonilo Sound Effects 1.0 對比 Mirelo v1.6 15 項指標全部領先。
- 27/30
- 在 Movie Gen Audio Bench 和 CineBench 上領先 Mirelo v1.6 的影片轉音效指標
- 16/24
- 在 Clotho 和 AudioCaps 上領先 ElevenLabs SFX v2 及 Mirelo v1.6 的文字轉音效指標
- 10/13
- Sonilo Music 1.1 領先 Suno v5.5 的 MusicCaps 指標
影片轉音效基準測試
Movie Gen Audio Bench 與 CineBench
Sonilo Sound Effects 1.0 對比 Mirelo v1.6，評估指標包括 DeSync（聲音與動作的偏差程度）、ImageBind 對齊度（聲音是否切合畫面內容）、KL 散度、Inception Score、Audiobox Aesthetics 及 Fréchet Distance。
文字轉音效基準測試
Clotho 與 AudioCaps
Sonilo Sound Effects 1.0 對比 ElevenLabs SFX v2 及 Mirelo v1.6，採用同一套指標，並加入衡量提示吻合度的 CLAP 相似度。
文字轉音樂基準測試
MusicCaps
Sonilo Music 1.1 對比 Suno v5.5，採用與文字轉音樂生成相同的一套指標。
功能 01
由影片決定聲音的位置，而不是您的時間軸
我們想談的，是示範中看不見的那個決定。我們本可以只推出零散的音效片段，把擺放的工作留給您。這樣的版本示範起來沒問題，但您仍要翻查素材庫、剪接片段、逐一手動對齊聲音，而這正是我們想要消除的工作。
所以模型在生成任何內容之前，會先讀懂畫面：每個場景的時機、節奏、動作和情緒。它必須先知道引擎何時轟鳴，才能生成那一下轟鳴。
功能 02
音樂與音效，一條完整音軌
音樂亦是同樣道理。它跟隨故事推進，而不是在畫面下不斷循環，而且與音效來自同一次上載。交付的是一條平衡妥當的完整音軌，而不是一堆留待您自行混音的片段。
更長遠的目標是 Sound World Model：以一個模型讀懂畫面上發生的一切，並端到端為它生成配樂。音樂承載情緒，音效營造臨場感。
這部引擎的聲音，您信嗎？請告訴我們。
推出情況