입력 적응형 스펙트럼 특징 압축을 위한 시퀀스 모델링

초록

본 논문은 고해상도 오디오 소스 분리를 위한 기존 밴드‑스플릿(BS) 인코더의 비효율성을 극복하고자, 단일 시퀀스 모델링 모듈에 입력‑적응형 쿼리를 적용한 스펙트럼 특징 압축(SFC) 방식을 제안한다. 교차‑어텐션 기반 SFC‑CA와 Mamba 기반 SFC‑Mamba 두 변형을 설계하고, 저주파에 가중치를 부여하는 위치 편향을 도입해 BS와 유사한 인덕티브 바이어스를 구현한다. MSS와 CASS 실험에서 다양한 모델 규모와 압축 비율에 걸쳐 BS를 일관적으로 능가하며, 파라미터 수와 연산량도 크게 감소한다. 시각화 분석을 통해 SFC가 입력 스펙트럼의 주파수 패턴을 동적으로 포착함을 확인한다.

상세 분석

본 연구는 TF‑도메인 듀얼‑패스 구조가 고주파수 해상도를 유지하면서도 연산 비용이 급증한다는 문제점을 인식하고, 이를 완화하기 위해 기존에 널리 사용돼 온 밴드‑스플릿(BS) 모듈의 두 가지 근본적인 한계를 지적한다. 첫째, BS는 사전 정의된 서브밴드 구성을 고정하고 있어 입력 신호마다 달라지는 주파수 특성을 활용하지 못한다. 둘째, 각 서브밴드마다 별도의 인코더·디코더를 배치함으로써 파라미터 수가 K배(보통 K=64) 증가한다. 이러한 비효율성을 해소하기 위해 저자는 ‘스펙트럼 특징 압축(SFC)’이라는 새로운 프레임워크를 제안한다. 핵심 아이디어는 하나의 시퀀스 모델링 모듈(Transformer 기반 교차‑어텐션 또는 Mamba 기반 순환 모델) 안에 K개의 학습 가능한 쿼리를 삽입해, 입력 스펙트럼 전체를 한 번에 압축하는 것이다.

SFC‑CA에서는 입력 특성 Ẑ∈ℝ^{D’×F×T}에 대해 K개의 쿼리 Q_E∈ℝ^{D’×K}를 사용해 Cross‑Attention을 수행한다. 여기서 ‘위치 편향(Positional Bias)’ P_E∈ℝ^{K×F}를 도입해 각 쿼리가 담당할 주파수 대역 G_k(예: 멜 스케일 혹은 12‑TET 기반 Musical scale)과 일치하도록 가중치를 부여한다. 즉, 낮은 주파수 대역에 해당하는 쿼리는 더 높은 편향 값을 받아, BS가 구현하던 “저주파에 더 많은 자원을 할당한다”는 인덕티브 바이어스를 학습 과정에서 자연스럽게 재현한다.

SFC‑Mamba는 Mamba 블록의 상태‑공간 모델링을 활용한다. 여기서는 입력 시퀀스에 일정 간격으로 K개의 ‘쿼리 토큰’을 삽입하고, 모델이 이 토큰을 통과시키며 압축된 표현을 출력한다. 쿼리 삽입 위치 역시 G_k에 기반해 설계되며, 이는 위치 편향과 동일한 역할을 수행한다. Mamba는 효율적인 순환 연산과 긴 종속성 학습 능력 덕분에 낮은 연산량으로도 강력한 주파수‑시간 상호작용을 포착한다.

두 변형 모두 압축된 특성 Z∈ℝ^{D×K×T}를 얻은 뒤, 기존 듀얼‑패스 분리기(주파수‑시간 교차 모델링)와 연결한다. 디코더는 압축된 특성을 다시 F 길이로 복원하는 역방향 SFC(쿼리 길이 F) 과정을 거쳐, 복원된 마스크를 통해 복소수 스펙트럼을 곱해 최종 소스를 추정한다.

실험에서는 Music Demixing (MUSDB18)과 Cinematic Audio Source Separation (CASS) 두 데이터셋을 대상으로, 베이스라인 BS와 비교해 다양한 모델 규모(소형, 중형, 대형)와 압축 비율(K/F=1/161/4)에서 SI‑SDR, SDR, PESQ 등 표준 지표를 측정했다. 결과는 모든 설정에서 SFC가 BS보다 평균 0.30.8 dB 높은 SI‑SDR를 기록했으며, 파라미터 수는 30%~50% 감소했다. 특히 SFC‑CA가 가장 높은 성능을 보였지만, SFC‑Mamba도 연산량이 더 적은 환경에서 경쟁력 있는 결과를 제공한다.

추가적인 Ablation Study에서는 (1) 위치 편향을 제거했을 때 성능이 급격히 저하되는 것을 확인해 인덕티브 바이어스의 중요성을 입증했으며, (2) 쿼리 수 K를 변동시켜 압축 비율과 성능 간의 트레이드오프를 정량화했다. 시각화 분석에서는 교차‑어텐션 가중치 행렬이 입력 스펙트럼의 에너지 집중 영역(예: 베이스, 보컬 피치)과 강하게 연관되는 패턴을 보였으며, 이는 SFC가 입력‑적응적으로 주파수 정보를 선택한다는 직관적 증거가 된다.

전반적으로 본 논문은 “하나의 시퀀스 모델링 모듈에 입력‑적응형 쿼리를 삽입해 주파수 차원을 압축한다”는 새로운 설계 패러다임을 제시하고, 기존 BS의 한계를 극복하면서도 실용적인 연산·파라미터 효율성을 달성했다는 점에서 오디오 소스 분리 분야에 중요한 기여를 한다.