ニュース
Sonilo Sound Effects 1.0 のご紹介
動画のための Sound World Model への一歩
- 執筆者
- Sonilo チーム
- 公開日
生成された音には、合格か不合格かを決めるテストがひとつだけあります。信じられるか、信じられないかです。スポーツカーの音は、そのエンジン、その速度、その距離にふさわしい音でなければ、ショット全体が作り物に感じられてしまいます。
私たちは Sonilo Sound Effects 1.0 をこの基準を軸に開発しました。これは動画のための Sound World Model へのさらなる一歩です。画面で何が起きているのか、それがいつ起き、どれほどの速さで動き、どれほど離れていて、その瞬間がどう感じられるべきかを理解するモデルです。
動画をアップロードすると、Sonilo はオリジナルの音楽と効果音をアクションに合わせて配置し、1本の完成トラックとして返します。テキストプロンプトから始めて、オリジナルの効果音を直接生成することもできます。すべてのトラックはライセンス済みです。
ベンチマーク
ベンチマークでトップに
Sonilo Sound Effects 1.0 と Sonilo Music 1.1 を、生成オーディオ向けのオープンなベンチマークツールキット audio-eval で評価しました。CLAP 類似度、Fréchet Distance、KL ダイバージェンス、Audiobox Aesthetics、DeSync、ImageBind アラインメントなど、標準的な知覚指標と分布指標で各モデルをスコア化し、確立された5つの評価セットで比較しています。
社内の動画から効果音の評価セット CineBench では、Sonilo Sound Effects 1.0 が Mirelo v1.6 に対して 15指標すべてで上回りました。
- 27/30
- Movie Gen Audio Bench と CineBench において、Mirelo v1.6 を上回った動画から効果音の指標
- 16/24
- Clotho と AudioCaps において、ElevenLabs SFX v2 と Mirelo v1.6 を上回ったテキストから効果音の指標
- 10/13
- Sonilo Music 1.1 が Suno v5.5 を上回った MusicCaps の指標
動画から効果音のベンチマーク
Movie Gen Audio Bench と CineBench
Sonilo Sound Effects 1.0 と Mirelo v1.6 を、DeSync（音がアクションからどれだけずれるか）、ImageBind アラインメント（画面の内容に合った音か）、KL ダイバージェンス、Inception Score、Audiobox Aesthetics、Fréchet Distance で比較しました。
テキストから効果音のベンチマーク
Clotho と AudioCaps
Sonilo Sound Effects 1.0 と ElevenLabs SFX v2、Mirelo v1.6 を、同じ指標セットに加え、プロンプトとの一致度を測る CLAP 類似度で比較しました。
テキストから音楽のベンチマーク
MusicCaps
Sonilo Music 1.1 と Suno v5.5 を、テキストから音楽の生成に用いるのと同じ指標セットで比較しました。
機能 01
配置を決めるのはタイムラインではなく動画
お伝えしたいのは、デモでは見えない判断についてです。バラバラの効果音クリップを出して、配置はユーザーに任せることもできました。そのほうがデモ映えはします。けれどそれでは、ライブラリを探し、クリップを切り、音を手作業で合わせる作業が残ります。私たちがなくそうとしたのは、まさにその作業でした。
そこでモデルは、何かを生成する前に映像を読み取ります。すべてのシーンのタイミング、テンポ、アクション、感情です。エンジンの音を作る前に、エンジンがいつ吹け上がるのかを知っていなければならないからです。
機能 02
音楽と効果音を、1本の完成トラックに
音楽も同じ仕組みです。映像の下でループするのではなくストーリーに寄り添い、効果音と同じアップロードから生まれます。バランスの取れた1本の完成トラックであり、ミックスを任されるクリップの寄せ集めではありません。
その先に見据えているのは Sound World Model です。画面で起きていることを読み取り、サウンドトラックを最初から最後まで生成するひとつのモデルです。音楽は感情を運び、効果音は臨場感を生み出します。
このエンジン音、信じられるかどうか教えてください。
提供状況