Notícias
Apresentando o Sonilo Sound Effects 1.0
Um passo rumo a um Sound World Model para vídeo
- Escrito por
- Equipe Sonilo
- Publicado em
Um som gerado tem um único teste: você acredita nele, ou não. Um carro esportivo ou soa como aquele motor, naquela velocidade, àquela distância, ou a cena inteira parece falsa.
Construímos o Sonilo Sound Effects 1.0 em torno desse padrão. É mais um passo rumo a um Sound World Model para vídeo: um modelo que entende o que está acontecendo na tela, quando acontece, a que velocidade se move, a que distância está e o que o momento deve transmitir.
Envie um vídeo e o Sonilo devolve música e efeitos sonoros originais, posicionados na ação, como uma única faixa pronta. Ou comece com um prompt de texto e gere efeitos sonoros originais diretamente. Toda faixa é licenciada.
Benchmarks
Na liderança dos benchmarks
Avaliamos o Sonilo Sound Effects 1.0 e o Sonilo Music 1.1 com o audio-eval, um kit aberto de benchmarking para áudio gerado. Ele pontua cada modelo em métricas perceptuais e distribucionais padrão, incluindo similaridade CLAP, Fréchet Distance, divergência KL, Audiobox Aesthetics, DeSync e alinhamento ImageBind, em cinco conjuntos de avaliação consolidados.
O Sonilo Sound Effects 1.0 venceu 15 de 15 métricas no CineBench, nosso conjunto interno de avaliação de vídeo para efeitos sonoros, contra o Mirelo v1.6.
- 27 de 30
- métricas de vídeo para efeitos sonoros lideradas no Movie Gen Audio Bench e no CineBench, contra o Mirelo v1.6
- 16 de 24
- métricas de texto para efeitos sonoros lideradas no Clotho e no AudioCaps, contra o ElevenLabs SFX v2 e o Mirelo v1.6
- 10 de 13
- métricas do MusicCaps em que o Sonilo Music 1.1 supera o Suno v5.5
Benchmark de vídeo para efeitos sonoros
Movie Gen Audio Bench e CineBench
O Sonilo Sound Effects 1.0 contra o Mirelo v1.6, avaliado em DeSync (o quanto o som se afasta da ação), alinhamento ImageBind (o som certo para o que está na tela), divergência KL, Inception Score, Audiobox Aesthetics e Fréchet Distance.
Benchmark de texto para efeitos sonoros
Clotho e AudioCaps
O Sonilo Sound Effects 1.0 contra o ElevenLabs SFX v2 e o Mirelo v1.6, no mesmo conjunto de métricas, mais a similaridade CLAP para a correspondência com o prompt.
Benchmark de texto para música
MusicCaps
O Sonilo Music 1.1 contra o Suno v5.5, no mesmo conjunto de métricas usado para a geração de texto para música.
Recurso 01
O vídeo decide o posicionamento, não a sua timeline
A decisão sobre a qual queremos falar é a que você não vê na demo. Poderíamos ter lançado clipes de som soltos e deixado o posicionamento com você. Essa versão fica bonita numa demo. Mas também deixa você procurando em bibliotecas, cortando clipes e alinhando o som à mão, que é exatamente o trabalho que queríamos eliminar.
Por isso o modelo lê as imagens antes de gerar qualquer coisa: o timing, o ritmo, a ação e a emoção de cada cena. Ele precisa saber quando o motor acelera antes de criar o ronco.
Recurso 02
Música e efeitos, uma única faixa pronta
A música funciona do mesmo jeito. Ela acompanha a história em vez de ficar em loop por baixo, e vem do mesmo upload que os efeitos. Uma única faixa pronta e equilibrada, não uma pilha de clipes para você mixar.
O objetivo de longo prazo é um Sound World Model: um único modelo que lê o que acontece na tela e gera a trilha sonora de ponta a ponta. A música carrega a emoção. Os efeitos sonoros criam presença.
Diga se você acredita no motor.
Disponibilidade