테스트 시점 적응을 위한 라덴(Latent Denoising) 기반 도메인 불변 임베딩 변환

초록

LaDen은 사전 학습된 음성 임베딩을 활용해 노이즈 음성의 임베딩을 선형 변환으로 깨끗한 음성 임베딩에 가깝게 만들고, 이를 의사 라벨로 사용해 테스트 시점에 실시간으로 음성 향상 모델을 적응시키는 방법이다. 다양한 잡음, 화자, 언어 도메인 변화를 포함한 벤치마크에서 기존 방법들을 지속적으로 능가한다.

상세 분석

본 논문은 테스트 시점 적응(Test‑Time Adaptation, TTA)이라는 가장 제한적인 설정에서 음성 향상(Speech Enhancement, SE) 모델을 어떻게 효과적으로 업데이트할 수 있는지를 탐구한다. 핵심 아이디어는 “Domain Invariant Embedding Transformation”(DIET)이라는 선형 매핑을 사전 학습된 고성능 음성 인코더(WavLM) 임베딩 공간에 적용하는 것이다.

1. 문제 정의와 필요성

   • 기존 SE 모델은 훈련 데이터와 테스트 데이터가 동일한 분포일 때는 뛰어난 성능을 보이지만, 실제 서비스 환경에서는 잡음 종류, 화자 특성, 언어 등 다양한 도메인 변이가 발생한다.
   • 이러한 변이에 대응하기 위해서는 라벨이 없는 타깃 데이터만으로 모델을 즉시 적응시켜야 하는데, 이는 전통적인 엔트로피 최소화, 피처 정렬, 의사 라벨링 기법이 직접 적용되기 어려운 상황이다. 특히 SE는 회귀 문제이므로 확률적 출력이 없고, 입력 변형에 대한 출력 보존이 어려워 기존 방법을 그대로 쓰기 힘들다.

2. DIET 설계

   • 노이즈 음성 y와 깨끗한 음성 x를 각각 인코더 g에 통과시켜 임베딩 y′=g(y), x′=g(x) 를 얻는다.
   • 저차원(512) 임베딩 공간에서 두 벡터 사이의 관계가 선형에 가깝다는 가정 하에, x′≈A·y′ 라는 선형 변환 A를 도입한다.
   • A는 소스 도메인(예: EARS‑W)에서 K≥d개의 쌍을 이용해 최소제곱 해법(모어‑펜로즈 역행렬)으로 미리 추정한다. 실험 결과, 이 A는 다른 도메인에서도 높은 코사인 유사도(>0.96)를 유지하며 거의 불변성을 보인다.

3. LaDen 적응 메커니즘

   • 테스트 시점에 들어오는 노이즈 음성 y에 대해 임베딩 y′를 구하고, A·y′ 를 “가짜 깨끗 임베딩”으로 만든다.
   • SE 모델 fθ가 출력한 음성 ˆx 를 인코더 g에 다시 통과시켜 ˆx′ 를 얻고, 코사인 거리 1‑sim(ˆx′, A·y′) 를 손실 LLD 로 정의한다.
   • 이 손실은 SE 모델의 파라미터(주로 레이어 정규화와 출력 레이어)만을 업데이트하는데 사용된다. 즉, 소스 모델 구조와 가중치는 그대로 유지하면서 타깃 데이터에 맞춰 미세 조정한다.

4. Envelope Regularization

   • 임베딩은 시간적 세부 정보를 손실하기 쉬우므로, Hilbert 변환을 이용해 신호의 envelope을 추출한다.
   • Spectral Subtraction(SS) 기반의 “깨끗한” envelope ˜xSS 와 SE 출력의 envelope ˜xSE 를 프레임별 코사인 유사도로 비교하고, 에너지 기반 가중치 ρi 로 강조한다.
   • 최종 손실 L = I(L≤γ)·(LLD + λ·LR) 로, LLD가 일정 임계값 γ(0.05) 이하일 때만 적용해 이상치 영향을 억제한다.

5. Weight Averaging

   • 매 업데이트 단계 후, 적응된 가중치 θt 와 원본 가중치 θS 를 β(=0.9) 비율로 선형 보간해 안정성을 확보한다. 이는 ROID에서 영감을 받은 지속적 가중치 평균 기법이다.

6. 실험 설계 및 결과

   • 소스 데이터: EARS‑W (100h, 107 화자, 다양한 말하기 스타일).
   • 타깃 도메인: (a) 잡음 변이(EARS‑DEMAND), (b) 화자·잡음 변이(VoiceBank+DEMAND, VoiceBank+WHAM), (c) 언어 변이(DNS 6개 언어).
   • 평가 지표: SI‑SDR, PESQ 등 퍼셉추얼 메트릭.
   • LaDen은 모든 도메인에서 기존 소스‑전용 모델, RemixIT, SSRA 등과 비교해 SI‑SDR와 PESQ에서 평균 1‑2 dB, 0.5‑1.0 PESQ 포인트 향상을 달성했다. 특히 화자·언어 변이에서는 “Target‑trained” 모델에 근접하거나 이를 능가하는 성능을 보였다.

7. 한계와 향후 과제

   • 현재는 additive noise만을 다루며, reverberation이나 압축 아티팩트 등 복합 왜곡에는 적용되지 않는다.
   • 선형 변환 A가 모든 도메인에서 완벽히 불변이라는 가정은 아직 제한적인 실험에 기반하므로, 더 다양한 소스/타깃 조합에서 검증이 필요하다.
   • 임베딩 인코더를 고정했지만, 경량화된 인코더나 멀티‑스케일 임베딩을 활용하면 연산량을 더욱 줄일 수 있을 것으로 기대된다.

전반적으로 LaDen은 “임베딩 공간에서의 선형 변환”이라는 간단하면서도 강력한 아이디어를 통해 테스트 시점에 실시간으로 SE 모델을 적응시키는 새로운 패러다임을 제시한다. 소스 데이터와 모델을 그대로 유지하면서도 타깃 도메인에 맞는 의사 라벨을 생성하고, 이를 기반으로 제한된 파라미터만 업데이트함으로써 연산 효율성과 적응 안정성을 동시에 달성한다.