음성 향상을 위한 EMA 불필요? 크기 보존 네트워크 설계 탐구

초록

본 논문은 슈뢰딩거 브리지 기반 확산 모델을 음성 향상에 적용하고, 시간‑종속 전처리와 크기 보존 레이어를 이용한 안정적인 학습을 제안한다. 두 가지 스킵‑연결 방식(노이즈 예측 vs. 클린 스피치 예측)을 비교하고, EMA 파라미터 평균화가 이미지 생성에서는 유리하지만 음성 향상에서는 짧거나 사용하지 않을 때 성능이 오히려 향상된다는 사실을 실험적으로 입증한다. VoiceBank‑DEMAND와 EARS‑WHAM 데이터셋에서 경쟁력 있는 SI‑SDR, PESQ, DNSMOS, NISQA 결과를 얻는다.

상세 분석

이 연구는 확산 기반 음성 향상 모델을 설계할 때 흔히 간과되는 세 가지 요소—전처리(preconditioning), 크기 보존(magnitude‑preserving) 구조, 그리고 EMA(Exponential Moving Average) 사용—를 체계적으로 검증한다. 먼저, 저자들은 Schrödinger Bridge(SB) 프레임워크를 채택해 전통적인 Ornstein‑Uhlenbeck나 Brownian Bridge 대신 최적 운송 관점에서 노이즈와 클린 스피치를 연결한다. SB의 전방 과정은 가우시안 혼합으로 정의되며, 이를 STFT 도메인에 적용해 실수·허수 채널을 별도로 처리한다.

전처리 단계에서는 시간‑종속 스케일링 c_in(t)와 c_out(t)를 도입해 입력·출력의 분산을 1로 정규화한다. 이는 네트워크가 각 타임스텝에서 동일한 신호 강도를 학습하도록 강제해, 급격한 그래디언트 폭주를 방지한다. 특히, c_s 값을 0(클린 스피치 예측) 혹은 1(노이즈 예측)으로 설정함에 따라 스킵‑연결이 달라지며, 두 경우에 대한 손실 가중치 λ(t)도 각각 σ_x⁻²와 복합적인 분산식으로 정의된다.

아키텍처는 EDM2에서 제안된 MP‑ADM(Magnitude‑Preserving ADM) 구조를 기반으로 하며, 각 블록에 조건화된 입력 y를 magnitude‑preserving 방식인 MP‑Add(a,b,τ) = (1−τ)a + τb /√((1−τ)²+τ²) 로 합친다. τ는 시그모이드로 제한된 학습 가능한 파라미터로, 네트워크가 블록마다 노이즈 신호에 얼마나 의존할지 스스로 조절한다. 이 설계는 가중치와 활성값의 L2 노름을 일정하게 유지해 학습 안정성을 크게 향상시킨다.

EMA에 대한 실험은 특히 주목할 만하다. 기존 이미지 생성 연구에서는 긴 EMA(γ≈0.999) 가 다양성 및 FID 개선에 기여한다고 알려져 있다. 그러나 저자들은 훈련 후 다양한 EMA 프로파일을 재구성해 본 결과, EMA 길이가 짧을수록(σ_rel≈0.001) SI‑SDR, PESQ, DNSMOS, NISQA 모두에서 더 높은 점수를 기록했다. 긴 EMA는 오히려 과적합된 파라미터 평균을 유지해 음성 신호의 미세한 구조를 흐리게 만든 것으로 해석된다.

실험에서는 VoiceBank‑DEMAND와 EARS‑WHAM 두 데이터셋을 사용해 8가지 모델(데이터셋·스킵·보조 손실 조합)을 학습했다. 결과적으로 c_s=1(노이즈 예측) 모델은 PESQ와 주관적 품질에서 우수했으며, c_s=0(클린 스피치 예측) 모델은 SI‑SDR과 비참조 지표(NISQA, DNSMOS)에서 약간 앞섰다. 또한, 보조 손실 α=0.001을 적용하면 매치된 환경에서는 미세한 향상이 있지만, 매치되지 않은 환경에서는 성능이 저하되는 경향을 보였다. 최종적으로 EMA를 사용하지 않은 버전도 비슷한 수준의 SI‑SDR을 달성했으며, 이는 EMA가 반드시 필요하지 않음을 시사한다.

전체적으로 이 논문은 확산 기반 음성 향상에서 전처리와 크기 보존 설계가 학습 안정성과 성능에 결정적 역할을 함을 입증하고, EMA 사용에 대한 기존 관념을 재검토한다. 두 가지 스킵‑연결 방식의 상보적 특성을 통해 사용자는 애플리케이션 요구에 맞춰 품질·신호 재현성 사이의 트레이드오프를 선택할 수 있다.