실제 잡음 환경에서 딥러닝 기반 음성 향상 모델 비교 분석

초록

본 연구는 최신 딥러닝 모델인 Wave‑U‑Net, CMGAN, U‑Net을 SpEAR, VPQAD, Clarkson 등 세 가지 실제 잡음 데이터셋에 적용해 노이즈 억제, 청취 품질, 화자 특성 보존 측면에서 성능을 비교하였다. U‑Net은 SNR 향상에서 가장 높은 수치를 기록했으며, CMGAN은 PESQ 점수에서 최고 성능을 보였다. Wave‑U‑Net은 화자 인증 정확도(VeriSpeak) 향상에 강점을 나타냈다. 결과는 음성 통신, 바이오메트릭, 포렌식 등 다양한 실용 분야에 적용 가능함을 시사한다.

상세 분석

본 논문은 딥러닝 기반 음성 향상 기술의 실용성을 검증하기 위해 세 가지 대표적인 모델을 선정하였다. Wave‑U‑Net은 시간‑주파수 도메인에서 U‑형 구조를 활용해 전역적인 컨텍스트 정보를 효과적으로 통합한다. CMGAN은 조건부 생성적 적대 네트워크로, 잡음 유형을 명시적으로 입력받아 잡음 억제와 동시에 자연스러운 음성 재구성을 목표로 한다. U‑Net은 이미지 분할에서 영감을 얻은 인코더‑디코더 구조로, 다중 스케일 특징을 결합해 세밀한 잡음 제거가 가능하다.

데이터 측면에서 저자는 DEMAND, MUSDB18‑HQ, VCTK, LibriSpeech, ESC‑50 등 다양한 잡음·음성 소스를 결합해 훈련 데이터를 구성하였다. 특히 SpEAR(인공 잡음), VPQAD(성인 실내 잡음), Clarkson(아동 실외 잡음)이라는 세 가지 평가 데이터셋을 사용해 모델이 실제 환경에서 얼마나 일반화되는지를 검증하였다. 이는 기존 연구가 주로 인공 잡음에만 초점을 맞춘 것과 차별화된다.

평가 지표는 SNR 향상, PESQ, VeriSpeak(화자 인증 정확도) 세 가지를 동시에 고려하였다. SNR은 객관적인 잡음 억제 정도를, PESQ는 인간 청취자 관점의 음질을, VeriSpeak는 화자 고유 특성 보존을 나타낸다. 결과는 U‑Net이 SNR 측면에서 +71.96 % (SpEAR), +64.83 % (VPQAD), +364.2 % (Clarkson) 로 가장 큰 개선을 보였으며, 이는 모델이 잡음 억제에 특화된 구조임을 의미한다. 반면 CMGAN은 PESQ 4.04 (SpEAR)와 1.46 (VPQAD) 로 청취 품질에서 우수했으며, 이는 적대 학습이 음성의 자연스러움을 유지하는 데 효과적임을 보여준다. Wave‑U‑Net은 VeriSpeak 점수에서 +10.84 % (SpEAR), +27.38 % (VPQAD) 의 상승을 기록, 화자 특성 보존에 강점을 가진다.

이러한 결과는 단일 모델이 모든 목표를 동시에 달성하기 어려운 트레이드오프가 존재함을 시사한다. 실시간 통신처럼 잡음 억제가 최우선인 경우 U‑Net을, 청취 품질이 핵심인 방송·스트리밍 서비스에는 CMGAN을, 화자 인증이 중요한 보안·법의학 분야에는 Wave‑U‑Net을 선택하는 것이 바람직하다. 또한 모델 경량화, 멀티태스크 학습, 잡음 유형 라벨링 강화 등 향후 연구 방향을 제시한다.