Neuigkeiten
Vorstellung von Sonilo Sound Effects 1.0
Ein Schritt hin zu einem Sound World Model für Video
- Geschrieben von
- Sonilo-Team
- Veröffentlicht
Ein generierter Sound muss genau eine Prüfung bestehen: Man glaubt ihn, oder eben nicht. Ein Sportwagen klingt entweder wie genau dieser Motor, bei genau diesem Tempo, aus genau dieser Entfernung, oder die ganze Einstellung wirkt unecht.
Nach diesem Maßstab haben wir Sonilo Sound Effects 1.0 gebaut. Es ist ein weiterer Schritt hin zu einem Sound World Model für Video: einem Modell, das versteht, was auf dem Bildschirm passiert, wann es passiert, wie schnell es sich bewegt, wie weit es entfernt ist und wie sich der Moment anfühlen soll.
Laden Sie ein Video hoch, und Sonilo liefert originale Musik und Soundeffekte, passgenau auf die Handlung gelegt, als einen fertigen Track. Oder Sie starten mit einem Text-Prompt und generieren direkt originale Soundeffekte. Jeder Track ist lizenziert.
Benchmarks
Spitzenreiter in den Benchmarks
Wir haben Sonilo Sound Effects 1.0 und Sonilo Music 1.1 mit audio-eval bewertet, einem offenen Benchmarking-Toolkit für generiertes Audio. Es bewertet jedes Modell anhand gängiger perzeptueller und verteilungsbasierter Metriken, darunter CLAP-Ähnlichkeit, Fréchet Distance, KL-Divergenz, Audiobox Aesthetics, DeSync und ImageBind-Alignment, über fünf etablierte Evaluationssets hinweg.
Sonilo Sound Effects 1.0 hat auf CineBench, unserem internen Evaluationsset für Video-zu-Soundeffekte, 15 von 15 Metriken gegenüber Mirelo v1.6 gewonnen.
- 27 von 30
- Video-zu-Soundeffekt-Metriken auf Movie Gen Audio Bench und CineBench vorn, gegenüber Mirelo v1.6
- 16 von 24
- Text-zu-Soundeffekt-Metriken auf Clotho und AudioCaps vorn, gegenüber ElevenLabs SFX v2 und Mirelo v1.6
- 10 von 13
- MusicCaps-Metriken, in denen Sonilo Music 1.1 vor Suno v5.5 liegt
Benchmark Video-zu-Soundeffekte
Movie Gen Audio Bench und CineBench
Sonilo Sound Effects 1.0 im Vergleich mit Mirelo v1.6, bewertet nach DeSync (wie weit der Sound von der Handlung abweicht), ImageBind-Alignment (der richtige Sound für das, was im Bild zu sehen ist), KL-Divergenz, Inception Score, Audiobox Aesthetics und Fréchet Distance.
Benchmark Text-zu-Soundeffekte
Clotho und AudioCaps
Sonilo Sound Effects 1.0 im Vergleich mit ElevenLabs SFX v2 und Mirelo v1.6, mit denselben Metriken plus CLAP-Ähnlichkeit für die Übereinstimmung mit dem Prompt.
Benchmark Text-zu-Musik
MusicCaps
Sonilo Music 1.1 im Vergleich mit Suno v5.5, mit denselben Metriken, die für die Text-zu-Musik-Generierung verwendet werden.
Fähigkeit 01
Das Video bestimmt die Platzierung, nicht Ihre Timeline
Die Entscheidung, über die wir sprechen möchten, ist die, die Sie in der Demo nicht sehen. Wir hätten lose Soundclips ausliefern und die Platzierung Ihnen überlassen können. Diese Version sieht in einer Demo gut aus. Sie lässt Sie aber weiter Bibliotheken durchsuchen, Clips schneiden und Sounds von Hand anlegen, also genau die Arbeit, die wir abschaffen wollten.
Deshalb liest das Modell das Filmmaterial, bevor es irgendetwas generiert: Timing, Tempo, Handlung und Emotion jeder Szene. Es muss wissen, wann der Motor aufheult, bevor es das Aufheulen erzeugt.
Fähigkeit 02
Musik und Effekte, ein fertiger Track
Musik funktioniert genauso. Sie folgt der Geschichte, statt darunter in Schleife zu laufen, und entsteht aus demselben Upload wie die Effekte. Ein fertiger, ausbalancierter Track, kein Stapel Clips, den Sie selbst mischen müssen.
Das größere Ziel ist ein Sound World Model: ein einziges Modell, das liest, was auf dem Bildschirm passiert, und durchgängig den Soundtrack dafür erzeugt. Musik trägt die Emotion. Soundeffekte schaffen Präsenz.
Sagen Sie uns, ob Sie dem Motor glauben.
Verfügbarkeit