소리 나침반 복잡한 음향 환경에서 방향 단서 기반 목표음 추출

초록

본 논문은 방향 정보(DoA)를 연속적인 구면조화(SH) 형태로 인코딩하고, 복소 스펙트럼 상에서 채널 간 페어와이즈 상호작용을 모델링하는 SPIN 모듈을 도입한다. 또한, 단계별로 DoA와 추정된 타깃 활성도를 결합하는 체인‑오브‑인퍼런스(CoI) 전략을 적용해 목표음 추출 성능을 크게 향상시켰다. 실험 결과, 기존 DoA 기반 방법들을 능가하면서 연산 효율성도 유지한다는 점을 입증한다.

상세 분석

SoundCompass는 목표음 추출(TSE)에서 방향 단서(DoA)의 활용을 한 단계 끌어올린 프레임워크이다. 핵심 기여는 세 가지로 요약된다. 첫째, Spectral Pairwise Interaction(SPIN) 모듈은 다채널 복소 스펙트럼의 실·허수 성분을 채널 간 전부 쌍으로 곱해 (2M)² 차원의 상관 특징을 생성한다. 이는 전통적인 IPD/ILD와 달리 주파수별 위상·진폭 차이를 정밀히 포착하며, 곱셈 결과가 ±1 범위에 머물러 학습 안정성을 보장한다. 둘째, DoA 단서는 구면조화(Spherical Harmonics, SH) 임베딩으로 변환된다. 5차까지의 실·허수 성분을 결합해 2(N+1)² 차원의 연속적인 각도 표현을 제공함으로써, 이산형 원-핫이나 사이클릭 포지셔널 임베딩이 갖는 각도 간 독립성 문제를 회피한다. 셋째, CoI(Chain‑of‑Inference) 전략은 첫 단계에서 추정된 프레임‑와이즈 타깃 활성(SED) 정보를 시간축으로 보간해 DoA 임베딩과 결합하고, 이를 이후 단계에 재주입한다. 이렇게 하면 목표음이 언제 활성화되는지에 대한 불확실성을 보완하면서, 단계별로 공간‑시간 정보를 점진적으로 정제한다.
아키텍처는 DeepASA 백본을 기반으로 하며, 복소 STFT → 2D 컨볼루션 인코더 → SPIN + FiLM 기반 Fusion → Feature Aggregation 블록 → 두 개의 디코더(직접음·잔향) 순으로 진행한다. FiLM 레이어는 SH 임베딩으로부터 스케일(γ)과 시프트(β)를 생성해 SPIN 출력에 채널‑와이즈로 조절한다. 또한, 12‑TET 기반 31개의 겹치는 서브밴드로 주파수 영역을 분할해, 저주파는 좁게, 고주파는 넓게 처리함으로써 주파수‑특이 공간 단서를 효과적으로 전달한다.
실험은 ASA2 데이터셋을 재구성한 4채널 테트라헤드 마이크 어레이 환경에서 수행되었으며, SNRi와 SI‑SNRi를 주요 지표로 사용했다. SoundCompass는 DoA를 FA 블록 앞에 삽입했을 때 SNRi 17.86 dB, SI‑SNRi 16.72 dB를 달성해 기존 DeepASA(15.64 dB/12.98 dB)와 SSDQ, DSENet 등을 크게 앞섰다. Ablation 결과는 SPIN의 페어와이즈 곱셈 제거 시 성능 급락, SH를 cyc‑pos로 교체 시 소폭 감소, 밴드‑스플릿 구조 제거 시 정확도 저하 등을 통해 각 구성 요소의 중요성을 입증한다. t‑SNE 시각화는 FiLM 스케일 파라미터가 방위각에 대해 원형 매니폴드를 형성하고, 고도 변화도 연속적으로 반영함을 보여준다. 마지막으로, CoI를 두 번 적용했을 때 SI‑SNRi가 17.08 dB까지 상승했으며, 파라미터와 연산량 증가가 제한적임을 확인했다. 전체적으로 SoundCompass는 연속적인 각도 표현, 전주파수 상호작용 모델링, 그리고 시간‑조건부 재정제라는 세 축을 결합해 복잡한 음향 장면에서도 강인한 목표음 추출을 구현한다.