프레셋 없는 음악 향상을 위한 프레셋 오디오 거리(FAD) 소개

초록

본 논문은 이미지 생성 모델 평가에 쓰이는 Fréchet Inception Distance(FID)를 오디오에 적용한 Fréchet Audio Distance(FAD)를 제안한다. VGGish 임베딩을 이용해 깨끗한 스튜디오 녹음과 향상된 음악 클립의 통계적 차이를 측정함으로써, 기존의 SDR·코사인·L2와 같은 전통적인 신호 기반 지표보다 인간 청취자의 주관적 품질과 높은 상관관계를 보인다. 다양한 인공 왜곡 실험과 300명의 청취자 평가를 통해 FAD가 왜곡 강도와 인지된 품질을 일관되게 반영함을 입증한다.

상세 분석

본 연구는 음악 향상 알고리즘을 객관적으로 평가하기 위한 새로운 메트릭인 Fréchet Audio Distance(FAD)를 설계하고, 그 유효성을 실험적으로 검증한다. FAD는 이미지 분야에서 널리 사용되는 Fréchet Inception Distance(FID)의 아이디어를 차용했으며, 핵심 차별점은 (1) 전통적인 전신(reference) 기반 지표와 달리 ‘reference‑free’ 즉, 원본 스튜디오 녹음이 없어도 평가가 가능하다는 점이다. 이를 위해 저자들은 사전 학습된 VGGish 모델의 128‑차원 임베딩을 사용한다. VGGish는 1초 길이의 로그‑멜 스펙트로그램을 입력으로 받아, 음성·음악의 고수준 의미 정보를 압축한다. 논문에서는 깨끗한 스튜디오 음악 540시간을 배경 데이터셋으로 삼아 임베딩 평균(µ_b)과 공분산(Σ_b)을 추정하고, 향상 모델이 출력한 오디오에 대해 동일한 통계(µ_e, Σ_e)를 계산한다. 두 다변량 정규분포 사이의 Fréchet 거리
F(N_b,N_e)=‖µ_b−µ_e‖²+tr(Σ_b+Σ_e−2(Σ_bΣ_e)^{1/2})
를 최종 점수로 사용한다.

실험 설계는 크게 두 축으로 나뉜다. 첫 번째는 인공 왜곡을 적용해 FAD 점수가 왜곡 강도와 일관되게 증가하는지를 확인하는 것이며, Gaussian 노이즈, POPs, 고·저역통과 필터, 양자화, Griffin‑Lim 재구성, 멜 스케일 변환, 속도·피치 변형, 리버브 등 12가지 왜곡을 다양한 파라미터 범위로 적용한다. 두 번째는 인간 청취자 평가와의 상관관계를 측정한다. 300개의 5초 클립에 대해 25분 분량을 무작위 쌍 비교 방식으로 평가했으며, “스튜디오 품질에 가장 가까운” 클립을 선택하도록 했다.

결과는 세 가지 주요 인사이트를 제공한다. 첫째, FAD는 왜곡 강도가 커질수록 점수가 선형에 가깝게 상승해, 정량적 감도가 뛰어나다. 예를 들어, Gaussian 노이즈 σ=0.031일 때 FAD≈0.3은 인간이 거의 감지하지 못하는 수준과 일치한다. 둘째, 기존 신호 기반 지표와는 달리 시간·피치 변형(속도 변환, pitch‑preserving 변환)에서는 코사인 거리와 SDR이 거의 동일하게 1 혹은 높은 값을 보이지만, FAD는 이러한 변형에 민감하게 반응해 높은 점수를 부여한다. 이는 멜‑스펙트로그램 기반 임베딩이 위상·시간 구조 변화를 포착한다는 점을 시사한다. 셋째, 인간 평가와의 피어슨 상관계수는 FAD가 0.52로 가장 높으며, SDR(0.39), 코사인 거리(-0.15), L2 거리(-0.01)보다 월등히 인간 인지와 일치한다.

한계점도 명시된다. VGGish는 멜‑스펙트로그램만을 입력으로 사용하므로 위상 정보가 완전히 무시된다. 실제로 Griffin‑Lim 재구성에서 반복 횟수를 늘리면 위상 오류가 감소함에도 불구하고, FAD 점수는 여전히 일정 수준 이상을 유지한다. 또한, VGGish가 유튜브 기반 대규모 데이터에 최적화돼 있어 장르·악기 다양성에 대한 편향이 존재할 가능성이 있다. 향후 연구에서는 위상 정보를 포함한 오디오 특화 임베딩(예: YAMNet, wav2vec 2.0)으로 대체하거나, 다중 임베딩 앙상블을 통해 더 정교한 거리 측정을 시도할 여지가 있다.

전반적으로 FAD는 음악 향상 분야에서 “reference‑free” 평가를 가능하게 함으로써, 실제 서비스 환경(예: 모바일 녹음, 유튜브 업로드)에서 원본 스튜디오 트랙이 없을 때도 알고리즘 성능을 객관적으로 비교할 수 있는 실용적인 도구로 자리매김한다.