뉴스
Sonilo Sound Effects 1.0 소개
동영상을 위한 Sound World Model을 향한 한 걸음
- 작성자
- Sonilo 팀
- 게시일
생성된 소리에는 통과냐 실패냐를 가르는 기준이 하나뿐입니다. 믿기느냐, 믿기지 않느냐입니다. 스포츠카는 그 엔진, 그 속도, 그 거리에 맞는 소리를 내야 합니다. 그렇지 않으면 샷 전체가 가짜처럼 느껴집니다.
Sonilo Sound Effects 1.0은 바로 이 기준을 중심으로 만들었습니다. 동영상을 위한 Sound World Model을 향한 또 한 걸음입니다. 화면에서 무슨 일이 일어나는지, 언제 일어나는지, 얼마나 빠르게 움직이는지, 얼마나 멀리 있는지, 그리고 그 순간이 어떤 느낌이어야 하는지를 이해하는 모델입니다.
동영상을 업로드하면 Sonilo가 오리지널 음악과 효과음을 액션에 맞춰 배치해 하나의 완성 트랙으로 돌려줍니다. 텍스트 프롬프트로 시작해 오리지널 효과음을 바로 생성할 수도 있습니다. 모든 트랙에는 라이선스가 포함됩니다.
벤치마크
벤치마크 선두
Sonilo Sound Effects 1.0과 Sonilo Music 1.1을 생성 오디오용 오픈 벤치마크 툴킷인 audio-eval로 평가했습니다. CLAP 유사도, Fréchet Distance, KL 발산, Audiobox Aesthetics, DeSync, ImageBind 정렬 등 표준 지각 지표와 분포 지표로 각 모델을 채점하며, 널리 쓰이는 평가 세트 다섯 개에 걸쳐 비교합니다.
자체 동영상-효과음 평가 세트인 CineBench에서 Sonilo Sound Effects 1.0은 Mirelo v1.6을 상대로 15개 지표 모두에서 앞섰습니다.
- 27/30
- Movie Gen Audio Bench와 CineBench에서 Mirelo v1.6보다 앞선 동영상-효과음 지표
- 16/24
- Clotho와 AudioCaps에서 ElevenLabs SFX v2와 Mirelo v1.6보다 앞선 텍스트-효과음 지표
- 10/13
- Sonilo Music 1.1이 Suno v5.5를 앞선 MusicCaps 지표
동영상-효과음 벤치마크
Movie Gen Audio Bench와 CineBench
Sonilo Sound Effects 1.0과 Mirelo v1.6을 DeSync(소리가 액션에서 얼마나 어긋나는지), ImageBind 정렬(화면에 맞는 소리인지), KL 발산, Inception Score, Audiobox Aesthetics, Fréchet Distance로 비교했습니다.
텍스트-효과음 벤치마크
Clotho와 AudioCaps
Sonilo Sound Effects 1.0과 ElevenLabs SFX v2, Mirelo v1.6을 같은 지표 세트에 프롬프트 일치도를 보는 CLAP 유사도를 더해 비교했습니다.
텍스트-음악 벤치마크
MusicCaps
Sonilo Music 1.1과 Suno v5.5를 텍스트-음악 생성에 쓰는 것과 같은 지표 세트로 비교했습니다.
기능 01
배치를 정하는 건 타임라인이 아니라 동영상
이야기하고 싶은 결정은 데모에서는 보이지 않는 부분입니다. 낱개의 효과음 클립을 내놓고 배치는 사용자에게 맡길 수도 있었습니다. 그렇게 해도 데모는 그럴듯합니다. 하지만 라이브러리를 뒤지고, 클립을 자르고, 소리를 손으로 맞추는 일은 그대로 남습니다. 저희가 없애려던 것이 바로 그 작업이었습니다.
그래서 모델은 무엇이든 생성하기 전에 먼저 영상을 읽습니다. 모든 장면의 타이밍, 템포, 액션, 감정을요. 엔진 소리를 만들기 전에 엔진이 언제 회전수를 올리는지 알아야 하니까요.
기능 02
음악과 효과음, 하나의 완성 트랙
음악도 같은 방식으로 작동합니다. 영상 밑에서 반복 재생되는 대신 이야기를 따라가고, 효과음과 같은 업로드에서 만들어집니다. 직접 믹스해야 하는 클립 묶음이 아니라 균형이 잡힌 하나의 완성 트랙입니다.
더 멀리 보는 목표는 Sound World Model입니다. 화면에서 일어나는 일을 읽고 사운드트랙을 처음부터 끝까지 생성하는 하나의 모델입니다. 음악은 감정을 전하고, 효과음은 현장감을 만듭니다.
이 엔진 소리, 믿기시는지 알려주세요.
제공 현황