딥러닝 기반 화자 분리를 위한 위상 복원 삼각함수적 접근

초록

본 논문은 단일 채널, 화자 독립적인 스피커 분리에서 STFT 도메인의 위상 복원을 다룬다. 두 음원의 크기(magnitude)를 정확히 추정하고 기하학적 제약을 적용하면, 각 음원과 혼합 신호 사이의 절대 위상 차이를 유일하게 구할 수 있음을 보인다. 또한 각 T‑F 유닛에서 가능한 위상 후보는 두 개뿐이며, 이를 선택하기 위해 (1) 반복 위상 복원, (2) 그룹 딜레이 추정, (3) 위상 차이 부호 예측의 세 가지 알고리즘을 제안한다. wsj0‑2mix·3mix 데이터셋에서 최첨단 성능을 달성한다.

상세 분석

이 연구는 기존 딥러닝 기반 스피커 분리 시스템이 주로 magnitude 스펙트럼을 예측하고, 위상은 혼합 신호의 원래 위상을 그대로 사용하는 한계를 지적한다. 저자들은 두 음원 혼합 상황을 2‑D 복소 평면상의 벡터 합으로 모델링하고, 각 음원의 magnitude가 정확히 복원되면 삼각법을 이용해 두 음원과 혼합 신호 사이의 위상 차이(Δθ)를 고유하게 계산할 수 있음을 증명한다. 구체적으로, |X₁|, |X₂|, |Y| (Y는 혼합) 가 주어지면 코사인 법칙을 적용해
cos Δθ₁ = (|Y|² + |X₁|² – |X₂|²) / (2|Y||X₁|)
cos Δθ₂ = (|Y|² + |X₂|² – |X₁|²) / (2|Y||X₂|)
를 얻으며, 여기서 Δθ₁, Δθ₂는 각각 음원 1·2와 혼합 신호 사이의 절대 위상 차이다. 이때 위상 차이의 부호는 두 후보 중 어느 것이 실제 위상인지를 결정하는 핵심 변수이다. 저자들은 이 부호를 추정하기 위한 세 가지 전략을 제시한다. 첫 번째는 기존 Griffin‑Lim 기반의 반복 위상 재구성(Iterative Phase Reconstruction, IPR)을 변형해, 초기 위상 후보를 교정하면서 부호를 점진적으로 정제한다. 두 번째는 그룹 딜레이(GD) 정보를 활용하는 방법으로, 위상 차이의 부호가 GD의 부호와 일치한다는 경험적 사실을 이용해 후보를 선택한다. 세 번째는 별도의 신경망을 훈련시켜, 각 T‑F 셀에서 위상 차이 부호를 직접 예측하도록 한다(Phase‑Difference Sign Prediction, PDSP).

실험에서는 먼저 Conv‑TasNet과 같은 최신 magnitude‑only 모델을 기반으로 magnitude 추정을 수행하고, 위의 세 가지 위상 복원 기법을 각각 적용한다. wsj0‑2mix와 3mix 데이터셋에서 SDR, SI‑SDR, PESQ 등 표준 평가 지표를 사용해 비교했을 때, 특히 PDSP와 IPR을 결합한 하이브리드 방식이 가장 큰 향상을 보였다. 이는 위상 복원이 단순히 magnitude 보정만큼이나 중요한 역할을 함을 실증한다. 또한, 제안된 방법은 기존 위상 추정 기법에 비해 연산 복잡도가 크게 증가하지 않으며, 실시간 처리에도 충분히 적용 가능함을 보여준다.

이 논문의 핵심 기여는 (1) 두 음원 혼합 상황에서 magnitude만으로 위상 차이를 유일하게 결정할 수 있다는 삼각함수 기반 이론적 분석, (2) 위상 차이 부호를 추정하기 위한 세 가지 실용적인 알고리즘, (3) 실제 대규모 데이터셋에서 기존 최첨단 모델을 능가하는 성능 향상이다. 특히, 위상 차이 부호를 직접 예측하는 신경망을 도입한 점은 기존의 반복 기반 접근법을 보완하며, 복소 평면상의 기하학적 제약을 딥러닝 프레임워크와 자연스럽게 결합한 사례라 할 수 있다.