딥러닝을 위한 지각적 오디오 손실 함수

초록

본 논문은 WaveNet의 넓은 수용 영역을 활용해 PESQ 알고리즘을 학습하고, 이를 차별화 가능한 손실 함수로 전환한다. 학습된 모델은 깨끗한 음성과 손상된 음성을 입력받아 PESQ 점수를 예측하며, 이후 음성 향상 작업에서 기존 MSE/PSNR 손실에 가중치를 두어 주관적 품질(MOS)과 객관적 품질을 동시에 최적화한다. 실험은 TIMIT 데이터와 0.25초 길이의 샘플을 사용했으며, 81%의 상관관계를 달성하였다.

상세 분석

이 연구는 음성 품질 평가에서 널리 쓰이는 PESQ와 POLQA와 같은 주관적 청취 테스트와의 상관성을 높이기 위해, 기존의 MSE·PSNR 기반 손실 함수가 갖는 한계를 지적한다. PESQ는 전체 신호의 시간적 의존성을 고려하는 복잡한 알고리즘으로, 직접 미분 가능하게 구현하기 어렵다. 저자들은 이러한 문제를 해결하고자 WaveNet 구조를 선택했는데, 이는 인과적(dilated causal) 컨볼루션을 통해 수천 샘플에 걸친 넓은 수용 영역을 제공한다. 특히, 16 kHz 샘플링 레이트에서 0.25 초(≈4 k샘플) 입력을 두 배인 8190 샘플(≈0.5 초) 수용 영역으로 확장함으로써 PESQ가 요구하는 장기 의존성을 포착한다.

모델은 두 개의 입력 스트림(깨끗한 음성, 손상된 음성)을 동시에 받아들여, 스피커 ID를 조건화(conditioning)함으로써 스피커별 특성을 학습한다. 이는 동일 모델이 여러 화자에 대해 일관된 PESQ 예측을 가능하게 하며, 실제 서비스 환경에서 화자 정보를 활용한 맞춤형 품질 평가에 유리하다. 학습 목표는 전체 PESQ 점수를 직접 회귀하도록 설정했으며, 손실 함수는 L2(또는 L1) 손실 대신 예측된 PESQ와 실제 PESQ 간의 차이를 최소화한다.

학습이 완료된 후, 이 모델은 차별화 가능한 손실 함수 P(x_clean, x_degraded)로 재사용된다. 최종 음성 향상 네트워크는 기존 MSE 손실에 λ∈