회전 등가성을 활용한 위상 진폭 상호작용 기반 음성 향상

초록

본 논문은 위상의 원형 토폴로지를 고려하지 못하는 기존 딥러닝 기반 음성 향상 모델의 한계를 극복하고자, 전역 회전 등가성(GRE)을 구조적 인덕티브 바이어스로 적용한 이중 스트림 프레임워크를 제안한다. Magnitude‑Phase Interactive Convolutional Module(MPICM)과 Hybrid‑Attention Dual‑FFN(HADF) 모듈을 통해 진폭과 위상 사이의 효율적인 정보 교환을 유지하면서도 위상 스트림은 회전 등가성을 보존한다. 다양한 실험(위상 복원, 잡음 제거, 잔향 제거, 대역폭 확장 등)에서 기존 최첨단 모델 대비 위상 거리 20 % 감소, PESQ 0.1 이상 향상을 달성하였다.

상세 분석

이 논문은 복소수 스펙트럼의 위상이 S¹ 원형 매니폴드 위에 존재한다는 사실에 착안하여, 딥러닝 모델이 유클리드 공간에서 학습될 경우 발생하는 위상의 전역 회전 편향을 근본적으로 해결하고자 한다. 전역 회전 연산 Tθ(x)=x·e^{jθ}와 모델 변환 F가 교환법칙 F(Tθ(x))=Tθ(F(x))를 만족하도록 설계함으로써, 위상 스트림은 절대 위상값에 무관하게 상대 위상 구조(그룹 딜레이, Instantaneous Phase 등)를 보존한다. 이를 구현하기 위해 두 가지 원자 연산을 도입한다. 첫째, 편향이 없는 복소선형 변환(복소 컨볼루션)은 자체적으로 GRE 특성을 갖는다. 둘째, 회전 불변 실수 텐서 S(x)와의 원소별 곱셈을 통한 비선형 변조는 (x⊙S(x))·e^{jθ} 형태로 등가성을 유지한다. 이러한 원리를 바탕으로 제안된 MPICM은 진폭 스트림(M)과 위상 스트림(P) 사이에 모듈러스 기반 게이팅을 수행한다. 구체적으로, P를 |P|·e^{j∠P} 형태로 분해한 뒤, |P|에 진폭 정보 M을 정규화된 스케일링으로 곱하고, 위상 각도는 그대로 전달한다. 이 과정은 위상 스트림의 회전성을 깨뜨리지 않으며, 진폭 정보가 위상 추정에 직접적인 영향을 미치게 한다.
또한, Dual‑Path Bottleneck에서는 시간축과 주파수축을 교대로 처리하는 두 개의 HADF 모듈을 사용한다. HADF는 복소형 입력에 대해 실수‑복소 혼합 어텐션을 적용하고, 어텐션 가중치를 회전 불변 실수 텐서로 제한한다. 이렇게 함으로써 전역 회전 등가성을 유지하면서도 장거리 스펙트로‑시간 의존성을 효과적으로 포착한다.
실험에서는 위상 복원(Phase Distance), 잡음 제거(PESQ, STOI), 잔향 제거(SDR), 대역폭 확장(BWE) 등 네 가지 주요 태스크를 선정하였다. 특히, 위상 복원 실험에서 기존 복소‑마스크 기반 모델 대비 20 % 이상의 PD 감소를 기록했으며, 제로샷 교차 코퍼스 잡음 제거에서는 PESQ가 0.1 이상 상승했다. 파라미터 수와 FLOPs는 기존 SOTA 모델과 비슷하거나 약간 낮은 수준을 유지하면서도 전반적인 성능이 우수함을 입증한다.
마지막으로, 학습된 위상 특징을 시각화한 결과, 주기적 패턴이 뚜렷하게 나타났으며 이는 S¹ 매니폴드의 회전 대칭성을 반영한다는 점에서 제안 방법이 위상의 내재적 구조를 성공적으로 학습했음을 시사한다. 전체적으로, 전역 회전 등가성을 네트워크 설계에 직접 삽입함으로써 위상 모델링의 근본적인 한계를 극복하고, 다양한 음성 복원 태스크에서 일관된 이점을 제공한다.