스펙트로그램 vs 파형, 멀티채널 음성 분리의 종합 비교 연구

초록

본 논문은 전통적인 스펙트로그램 기반 분리와 최신 파형 기반 TasNet을 비교·통합한다. 스펙트로그램 네트워크에 CNN 구조와 Si‑SNR 손실을 도입해 성능을 끌어올리고, 다중 마이크 배열에서 IPD·각도 특징을 활용한 멀티채널 프레임워크를 제안한다. 실험 결과, 개선된 스펙트로그램 방식이 파형 방식과 경쟁하며, 멀티채널 적용 시 WER 35.5 %·SDR 46 %까지 향상된다.

상세 분석

이 연구는 음성 분리 분야에서 두 가지 주요 패러다임, 즉 주파수‑도메인(스펙트로그램)과 시간‑도메인(파형) 접근법을 체계적으로 비교한다. 기존 스펙트로그램 방식은 STFT/ISTFT를 이용해 magnitude와 phase를 분리하고, 마스크 기반 BLSTM 혹은 CNN 네트워크로 magnitude를 복원한다. 반면, TasNet은 학습 가능한 1‑D Conv‑Encoder/Decoder를 사용해 신호를 새로운 임베딩 공간으로 변환하고, 직접 Si‑SNR을 최적화한다는 점에서 차별화된다.

논문은 TasNet의 핵심 요소를 스펙트로그램 파이프라인에 도입한다. 첫째, BLSTM 대신 TasNet에서 제안된 깊은 CNN 구조를 적용해 시간‑주파수 특성 추출 효율을 높였다. 둘째, 전통적으로 MSE를 사용하던 손실 함수를 Si‑SNR로 교체함으로써 학습 단계부터 실제 분리 품질을 직접 최적화하도록 설계했다. 이때 STFT와 ISTFT를 고정된 Conv‑1D·ConvTranspose‑1D 연산으로 구현해 역전파가 가능하도록 하였다.

다중 마이크 환경을 위한 확장은 두 가지 주요 특징을 활용한다. IPD(Inter‑Microphone Phase Difference) 특징은 각 마이크 쌍의 위상 차이를 코사인·사인 형태로 정규화해 네트워크 입력에 결합한다. 또한, 스피커 방향 정보를 나타내는 각도(Angle) 특징을 추가해 목표 스피커 추출(TGT) 시나리오를 구현했다. 이러한 공간적 정보를 결합함으로써, 단일 채널 대비 평균 35.5 %의 WER 감소와 46 %의 SDR 향상을 달성했다.

실험은 WSJ0‑2mix 데이터셋을 기반으로 6‑채널 원형 마이크 어레이를 시뮬레이션한 reverberant 환경에서 수행되었다. 실험 결과, Si‑SNR 손실을 적용한 스펙트로그램 모델이 파형 기반 TasNet과 비슷한 수준의 Si‑SNR·SDR를 기록했으며, 특히 CNN 구조가 BLSTM보다 파라미터 효율성이 뛰어났다. 멀티채널 설정에서는 IPD와 Angle을 모두 사용한 모델이 가장 높은 성능을 보였으며, 목표 스피커 추출에서는 uPIT‑SiSNR보다 TGT‑SiSNR이 더 좋은 결과를 나타냈다.

이 논문의 주요 기여는 (1) 시간‑도메인 네트워크의 구조와 손실 함수를 주파수‑도메인에 성공적으로 이식, (2) 스펙트로그램 기반에서도 Si‑SNR 최적화가 가능함을 증명, (3) 공간적 특징(IPD·Angle)을 통합한 멀티채널 프레임워크를 제시해 실용적인 음성 인식 성능 향상을 달성했다는 점이다.