소리 융합의 새로운 패러다임, Mix2Morph

초록

Mix2Morph는 텍스트‑투‑오디오 확산 모델을 고차원 노이즈 믹스에 미세조정하여, 별도 모핑 데이터 없이도 두 소스의 특성을 자연스럽게 결합한 “사운드 인퓨전”을 생성한다. 높은 diffusion timestep에 노이즈가 섞인 대리 믹스를 학습시킴으로써, 주된 소스의 시간 구조는 유지하고 보조 소스의 음색을 효과적으로 주입한다. 객관적 지표와 청취 테스트에서 기존 베이스 모델 및 최신 딥러닝 기반 모핑 기법을 능가한다.

상세 분석

본 논문은 사운드 디자인에서 핵심적인 과제인 “소리 융합(sound morphing)”을 다루면서, 특히 한 소스가 시간적·구조적 프레임을 제공하고 다른 소스가 음색·질감을 보강하는 비대칭적 형태인 “사운드 인퓨전(sound infusion)”에 초점을 맞춘다. 기존 DSP 기반 방법은 피치가 명확한 악기나 보컬에 한정돼 효과적이었지만, 환경음·효과음 등 비조화적 텍스처에서는 한계가 있었다. 최근 딥러닝 기반 MorphFader·SoundMorpher 등은 텍스트‑투‑오디오 모델을 활용했지만, 중간 단계에서의 “midpoint collapse” 현상이 빈번해 두 소스의 특성이 제대로 혼합되지 못하고 단순 믹스 수준에 머무르는 문제가 있었다.

Mix2Morph는 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 고품질 모핑 데이터가 부족한 현실을 “노이즈가 섞인 대리 믹스(noisy surrogate mixes)”를 활용해 극복한다. 저품질의 단순 가산 믹스를 다양한 시간·주파수 정렬 기법(RMS 앵커링, 스펙트럼 평균화)으로 변형해, 원본 소스가 공유하는 구조적·스펙트럼적 공간에 맞추어 만든다. 둘째, 이러한 대리 데이터를 diffusion 모델의 높은 timestep(즉, 큰 노이즈 레벨)에서만 학습 목표로 사용한다. 높은 timestep에서는 모델이 전역적인 형태와 전반적인 음향 특성을 복원하도록 유도되므로, 노이즈가 섞인 대리 믹스의 저수준 아티팩트를 억제하고, 고수준의 “융합 개념”만을 학습한다. 낮은 timestep에서는 사전 학습된 텍스트‑투‑오디오 모델의 세밀한 디테일 복원 능력을 그대로 활용한다.

학습 과정에서 네 가지 증강 모드(RMS‑only, Spectral‑only, Both, None)를 무작위로 적용하고, 각각에 맞는 캡션을 제공함으로써 모델이 다양한 형태의 융합을 인식하도록 한다. 실험에서는 diffusion timestep을