컨볼루션 오토인코더 기반 오디오 소스 분리 혁신

초록

본 논문은 전통적인 컨볼루션 비음수 행렬 분해(convolutive NMF)를 신경망 형태로 대체하기 위해, 컨볼루션 오토인코더(CNN‑CNN)와 재귀형 인코더(RNN)를 결합한 새로운 구조를 제안한다. TIMIT 음성 데이터셋을 이용한 실험에서 제안된 모델이 기존 피드포워드 오토인코더 대비 SDR, SIR, SAR 지표에서 유의미한 향상을 보이며, 특히 컨볼루션 기반 모델이 가장 큰 성능 개선을 달성하였다.

상세 분석

논문은 먼저 비음수 행렬 분해(NMF)의 한계를 짚으며, 특히 시간축에 걸친 스펙트로그램의 연속성을 충분히 활용하지 못한다는 점을 지적한다. 이를 보완하기 위해 기존의 컨볼루션 NMF(con‑vNMF)를 신경망 형태로 재구성했으며, 두 단계의 컨볼루션 레이어를 각각 인코더와 디코더로 해석한다. 인코더는 입력 스펙트로그램에 대한 역필터 역할을 수행해 잠재 활성도 행렬 H를 추출하고, 디코더는 학습된 필터를 통해 스펙트로그램을 재구성한다. 비음수 제약은 소프트플러스(g(x)=log(1+e^x)) 활성함수를 적용함으로써 구현되며, 이는 KL 발산을 최소화하는 손실 함수와 결합된다.

핵심적인 설계 선택은 디코더 필터가 음수 값을 허용한다는 점이다. 이는 전통적인 NMF에서 요구되는 비음수 제약을 완화하고, 역필터와 정필터 사이의 상호보완성을 통해 보다 풍부한 스펙트로템포럴 패턴을 학습하게 한다. 실험에서는 40×36 크기의 필터를 사용해 음성 스펙트로그램의 작은 조각을 캡처했으며, 인코더가 이러한 조각을 매칭 필터처럼 동작함을 시각적으로 확인하였다.

또한, 인코더를 재귀형(RNN)으로 교체한 RCAE 구조를 제안한다. 재귀형 인코더는 이론적으로 무한히 긴 시간 의존성을 모델링할 수 있어, 고정된 길이의 컨볼루션 필터보다 더 정교한 역필터 근사를 가능하게 한다. 구현에서는 LSTM 셀을 사용했으며, K개의 독립적인 RNN을 병렬로 배치해 각 베이스에 대응하는 활성도를 추출한다.

소스 분리 단계에서는 학습된 오토인코더를 그대로 활용한다. 혼합 스펙트로그램 X_m을 두 개의 오토인코더 출력의 합으로 모델링하고, 각 소스의 입력 스펙트로그램 X_1, X_2를 최적화한다. 이는 기존 NMF 방식과 동일하게 magnitude 스펙트로그램의 선형 합을 가정하지만, 인코더와 디코더 전체를 이용해 비선형 변환을 포함한다는 점에서 차별화된다. 최종 시간 신호 복원은 혼합의 위상 정보를 그대로 사용해 ISTFT를 수행한다.

실험 설정은 TIMIT에서 남·여 화자를 각각 선택해 0 dB 혼합을 만든 20개의 테스트 케이스를 사용하였다. 입력은 1024‑point STFT(25 % hop)이며, CNN 필터는 512 × 8 크기로 시간축에만 컨볼루션한다. 필터 수 K를 10~100 범위에서 변화시켜 성능을 평가했으며, RMSProp(η=0.001, μ=0.7)과 Xavier 초기화를 적용했다. 결과는 CCAE가 기존 피드포워드 오토인코더 대비 SDR과 SIR에서 현저히 높은 중앙값과 좁은 사분위 범위를 보였으며, SAR은 약간 감소했지만 전반적인 품질 향상에 기여했다. RCAE 역시 FF 모델보다 우수했지만, CCAE에 비해 개선 폭이 다소 작았다. 특히 K=80에서 최고 성능을 기록했으며, K가 50 이상일 때 SDR 변동성이 크게 감소하는 경향을 보였다. 이는 컨볼루션 기반 모델이 필터 수에 덜 민감함을 시사한다.

전체적으로 논문은 NMF를 신경망으로 재해석하고, 컨볼루션·재귀형 인코더를 통해 스펙트로템포럴 구조를 효과적으로 학습함으로써 기존 방법보다 뛰어난 소스 분리 성능을 입증한다. 또한, 비음수 제약을 완화하고 소프트플러스 활성함수를 활용한 설계가 모델의 표현력을 크게 확장한다는 중요한 통찰을 제공한다.