Actualités
Présentation de Sonilo Sound Effects 1.0
Un pas vers un Sound World Model pour la vidéo
- Rédigé par
- Équipe Sonilo
- Publié le
Un son généré n’a qu’un seul test : on y croit, ou pas. Une voiture de sport sonne comme ce moteur-là, à cette vitesse, à cette distance, ou tout le plan sonne faux.
Nous avons conçu Sonilo Sound Effects 1.0 autour de cette exigence. C’est une nouvelle étape vers un Sound World Model pour la vidéo : un modèle qui comprend ce qui se passe à l’écran, quand cela se produit, à quelle vitesse cela bouge, à quelle distance cela se trouve et ce que le moment doit faire ressentir.
Importez une vidéo et Sonilo renvoie une musique et des effets sonores originaux, placés sur l’action, en une seule piste finalisée. Ou partez d’une invite textuelle pour générer directement des effets sonores originaux. Chaque piste est sous licence.
Benchmarks
En tête des benchmarks
Nous avons évalué Sonilo Sound Effects 1.0 et Sonilo Music 1.1 avec audio-eval, une boîte à outils ouverte de benchmarking pour l’audio généré. Elle note chaque modèle sur des métriques perceptives et distributionnelles standard, dont la similarité CLAP, la Fréchet Distance, la divergence KL, Audiobox Aesthetics, DeSync et l’alignement ImageBind, sur cinq jeux d’évaluation reconnus.
Sonilo Sound Effects 1.0 a remporté 15 métriques sur 15 sur CineBench, notre jeu d’évaluation interne vidéo-vers-effets sonores, face à Mirelo v1.6.
- 27 sur 30
- métriques vidéo-vers-effets sonores en tête sur Movie Gen Audio Bench et CineBench, face à Mirelo v1.6
- 16 sur 24
- métriques texte-vers-effets sonores en tête sur Clotho et AudioCaps, face à ElevenLabs SFX v2 et Mirelo v1.6
- 10 sur 13
- métriques MusicCaps où Sonilo Music 1.1 devance Suno v5.5
Benchmark vidéo-vers-effets sonores
Movie Gen Audio Bench et CineBench
Sonilo Sound Effects 1.0 face à Mirelo v1.6, évalué sur DeSync (l’écart entre le son et l’action), l’alignement ImageBind (le bon son pour ce qui est à l’écran), la divergence KL, l’Inception Score, Audiobox Aesthetics et la Fréchet Distance.
Benchmark texte-vers-effets sonores
Clotho et AudioCaps
Sonilo Sound Effects 1.0 face à ElevenLabs SFX v2 et Mirelo v1.6, sur le même ensemble de métriques, plus la similarité CLAP pour la correspondance avec l’invite.
Benchmark texte-vers-musique
MusicCaps
Sonilo Music 1.1 face à Suno v5.5, sur le même ensemble de métriques utilisé pour la génération texte-vers-musique.
Capacité 01
C’est la vidéo qui décide du placement, pas votre timeline
La décision dont nous voulons parler, c’est celle qu’on ne voit pas dans la démo. Nous aurions pu livrer des clips sonores isolés et vous laisser les placer. Cette version fait illusion en démo. Mais elle vous laisse fouiller des bibliothèques, découper des clips et caler le son à la main, précisément le travail que nous voulions supprimer.
Le modèle lit donc les images avant de générer quoi que ce soit : le timing, le rythme, l’action et l’émotion de chaque scène. Il doit savoir quand le moteur monte dans les tours avant de produire ce rugissement.
Capacité 02
Musique et effets, une seule piste finalisée
La musique fonctionne de la même façon. Elle suit l’histoire au lieu de tourner en boucle en dessous, et elle naît du même import que les effets. Une seule piste finalisée et équilibrée, pas une pile de clips à mixer vous-même.
L’horizon plus lointain, c’est un Sound World Model : un modèle unique qui lit ce qui se passe à l’écran et en génère la bande sonore de bout en bout. La musique porte l’émotion. Les effets sonores créent la présence.
Dites-nous si vous croyez au moteur.
Disponibilité