I‑DCCRN‑VAE: 복잡한 VAE 기반 단일채널 음성 향상 혁신

초록

본 논문은 DCCRN‑VAE 구조를 개선한 I‑DCCRN‑VAE를 제안한다. 사전 학습된 청음 및 잡음 VAE에서 스킵 연결을 제거하고, β‑VAE를 도입해 재구성 손실과 잠재공간 정규화의 균형을 맞춘다. 또한 NSVAE가 청음·잡음 두 종류의 잠재 표현을 동시에 생성하도록 설계하였다. 실험 결과, DNS‑3와 같은 매치 데이터에서는 기존 모델과 동등한 성능을 유지하면서, WSJ0‑QUT·Voicebank‑DEMAND와 같은 미스매치 환경에서는 향상된 일반화 능력을 보였다. 마지막으로, 적대적 학습 대신 클래식 파인‑튜닝만으로도 유사한 성능을 얻을 수 있음을 확인하였다.

상세 분석

I‑DCCRN‑VAE는 기존 DCCRN‑VAE가 갖는 두 가지 구조적 한계를 해결한다. 첫째, 사전 학습 단계에서 사용된 청음 VAE(CVAE)와 잡음 VAE(NVAE)에 스킵 연결을 유지하면 인코더‑디코더 사이의 정보 흐름이 직접 전달돼 잠재 변수(zₓ, zᵥ)가 충분히 풍부한 특성을 학습하기 어렵다. 이를 제거함으로써 모든 입력 정보가 잠재 병목을 통과하도록 강제하고, 결과적으로 더 표현력이 높은 복소수 잠재 공간을 얻는다. 둘째, β‑VAE를 적용해 KL 발산에 가중치 β를 부여함으로써 재구성 손실과 정규화 손실 사이의 트레이드‑오프를 조절한다. β 값을 적절히 설정하면 과도한 정규화로 인한 정보 손실을 방지하면서도 잠재 분포를 표준 정규분포에 가깝게 유지해 학습 안정성을 높인다. 셋째, 기존 NSVAE는 오직 청음 잠재(zₓ)만을 추출하고, 잡음 잠재는 별도 NVAE에 의존했다. I‑DCCRN‑VAE는 NSVAE가 zₓ와 zᵥ를 동시에 출력하도록 설계해, 잡음과 청음의 공동 분포를 직접 모델링한다. 이는 복소수 후처리 단계에서 마스크 M을 계산할 때 더 정확한 잡음 억제와 청음 보존을 가능하게 한다. 손실 함수는 (1) 복소수 재구성 손실, (2) β‑KL 손실, (3) NSVAE의 잠재 KL 손실(α 가중치 포함)으로 구성되며, 파인‑튜닝 단계에서는 SI‑SDR 기반 스케일‑불변 신호‑대‑잡음비 손실을 최소화한다. 실험에서는 DNS‑3(매치)와 WSJ0‑QUT·Voicebank‑DEMAND(미스매치) 세 데이터셋을 사용해 PESQ, STOI, SI‑SDR을 평가했으며, I‑DCCRN‑VAE는 매치 환경에서 기존 DCCRN‑VAE와 동등하거나 약간 우수한 성능을 보이면서, 미스매치 환경에서는 0.1~0.3 dB 수준의 SI‑SDR 향상을 달성했다. 특히, 적대적 학습 없이 파인‑튜닝만으로도 비슷한 결과를 얻어 학습 파이프라인을 크게 단순화한다. 이러한 설계 선택은 잠재 공간의 표현력 강화와 일반화 능력 향상이라는 두 축을 동시에 만족시키며, 복소수 신호 처리와 VAE 기반 음성 향상 연구에 새로운 방향을 제시한다.