도메인 적대적 훈련으로 만나는 깨끗한 목소리: 노이즈 적응형 음성 향상 기술

초록

본 연구는 훈련과 테스트 환경 간의 노이즈 유형 불일치라는 음성 향상(SE) 시스템의 핵심 문제를 해결하기 위해 도메인 적대적 훈련(DAT)을 도입한 새로운 적응형 시스템을 제안합니다. 정지 노이즈가 포함된 소스 도메인 데이터와 레이블이 없는 비정지 노이즈 타겟 도메인 데이터를 활용해, 인코더가 노이즈에 불변하는 특징을 추출하도록 유도함으로써 보이지 않는 노이즈에 대한 모델 강건성을 크게 향상시켰습니다. TIMIT 데이터셋 실험에서 PESQ 19.0%, SSNR 39.3%, STOI 27.0%의 유의미한 성능 향상을 확인했습니다.

상세 분석

이 논문이 제안하는 방법론의 핵심은 음성 향상이라는 회귀(Regression) 문제에 도메인 적대적 훈련(Domain Adversarial Training, DAT)을 성공적으로 접목시켰다는 점에 있습니다. 기존 DAT가 주로 이미지 분류나 음성 인식 같은 분류 문제에 적용되던 것과 달리, 본 연구는 음성의 시간-주파수 스펙트럼을 복원하는 회귀 모델에 적용하여 새로운 영역을 개척했습니다.

기술적 세부사항으로는, 모델이 인코더-디코더 기반의 음성 향상 네트워크와 도메인 판별자(Discriminator)로 구성됩니다. 인코더는 입력된 잡음 음성에서 특징을 추출하고, 디코더는 이 특징을 바탕으로 깨끗한 음성의 스펙트럼을 예측합니다. 여기에 도메인 판별자는 인코더가 추출한 특징이 ‘정지 노이즈(소스 도메인)‘에서 왔는지 ‘비정지 노이즈(타겟 도메인)‘에서 왔는지 구분하려고 합니다. DAT의 핵심은 이 판별자를 속이도록 인코더를 훈련시키는 것에 있습니다. 즉, 인코더는 음성 향상 성능은 유지하면서도 추출하는 특징이 노이즈 유형에 관계없이 비슷하게 만들어 판별자가 도메인을 구분하지 못하도록 합니다. 이를 통해 모델은 훈련 때 보지 못한 새로운 비정지 노이즈에 대해서도 강건한 성능을 발휘할 수 있게 됩니다.

또한, 실험 설계에서 주목할 점은 ‘상한선(upper-bound)‘과 ‘하한선(lower-bound)’ 모델을 명확히 설정한 비교 실험입니다. 상한선은 타겟 도메인 데이터의 깨끗한 레이블까지 모두 사용한 완전 지도 학습 모델이며, 하한선은 소스 도메인 데이터만으로 훈련한 기본 모델입니다. 제안하는 DAT 모델은 레이블이 없는 타겟 도메인 잡음 데이터만 추가로 사용했음에도, 하한선 대비 크게 향상된 성능을 보이며 상한선 성능의 상당 부분을 따라잡았습니다. 이는 무레이블 데이터만으로도 효과적인 적응이 가능함을 입증합니다. 특히, 적응에 사용한 특정 비정지 노이즈(아이 울음소리)가 아닌 완전히 새로운 비정지 노이즈(카페 테리아 잡음)에 대해서도 일반화 성능이 향상된 점은, DAT가 단순히 특정 노이즈에 과적합하는 것이 아니라 진정한 ‘노이즈 불변 특징’을 학습했음을 시사합니다.