스스로 학습하는 오디오 품질 평가: 스퓨리어스 상관관계 해소

AI‑Generated Content가 급증함에 따라, 생성된 오디오의 품질을 객관적으로 평가할 필요성이 커졌다. 인간 청취자를 통한 MOS 측정은 가장 정확하지만 비용과 시간이 많이 소요되므로, 자동 MOS 예측 모델이 대안으로 떠오르고 있다. 그러나 라벨이 제한된 상황에서 학습된 모델은 데이터셋 고유의 음향 특성(예: 특정 악기 음색, 방향성, 녹음 장비)을 품질 신호와 혼동하는 ‘스퓨리어스 상관관계’를 학습하기 쉽다. 이런 편향은 훈련 데이터와 다른 도메인(새로운 생성 모델)에서 성능이 급격히 떨어지는 원인이 된다. 본 논문은 이러한 문제를 해결하기 위해 도메인 적대 학습(DAT)을 도입한다. DAT는 Gradient Reversal Layer(GRL)을 통해 도메인 분류기의 손실을 역전시켜, 인코더가 도메인 정보를 억제하고 품질에 관련된 특징만을 보존하도록 만든다. 기존 연구와 달리, 저자들은 “도메인”을 어떻게 정의하느냐가 핵심이라고 주장하고, 세 가지 정의 방식을 체계적으로 비교한다. 1. **DAT‑Source (메타데이터 기반)** - 데이터셋 식별자(예: LibriTTS, AudioSet 등)를 도메인 라벨로 사용한다. - 매크로 수준의 차이(녹음 장비, 코덱, 후처리)를 포착한다. 2. **DAT‑Kmeans (잠재 클러스터 기반)** - 사전 학습된 SSL 모델(XLS‑R)의 마지막 레이어 임베딩을 평균 풀링해 전역 벡터를 만든다. - K‑means 클러스터링(K=2~10)으로 암묵적인 음향 패턴을 발견한다. - 클러스터는 데이터셋 경계를 초월한 미세한 리버브, 배경 잡음 등을 반영한다. 3. **DAT‑Random (무작위 라벨)** - 라벨을 무작위로 할당해, GRL 자체의 정규화 효과만을 검증한다. 모델 구조는 크게 세 부분으로 이루어진다. 첫 번째는 XLS‑R 2B와 같은 대규모 사전 학습 SSL 인코더이며, 이는 고정하거나 미세조정한다. 두 번째는 MultiGauss 백본으로, 평균 벡터와 공분산 행렬을 동시에 예측해 불확실성을 모델링한다. 세 번째는 도메인 디스크리미네이터이며, GRL을 통해 역전된 그래디언트가 인코더에 전달되어 도메인 불변 표현을 학습한다. 전체 손실은 GNLL(가우시안 음성 부정 로그우도)과 도메인 교차 엔트로피 손실의 가중합이며, λ 파라미터를 통해 두 손실 간 균형을 조절한다(예: λ=0.5 for DAT‑Source, λ=0.1 for DAT‑Kmeans/Random). 실험은 AES‑Natural 데이터셋을 사용한다. 훈련/검증 셋은 자연 음성·음악·일반 오디오(총 2,544클립, 약 31.6시간)이며, 평가 셋은 3,060개의 다양한 생성 모델 출력(약 7.9시간)으로 구성된다. MOS는 네 가지 차원으로 세분화된다. - **Production Quality(PQ)**: 신호의 기술적 품질(노이즈, 왜곡 등) - **Production Complexity(PC)**: 콘텐츠 구조의 복잡도(스테미 수, 레이어링) - **Content Enjoyment(CE)**: 청취자의 주관적 즐거움 - **Content Usefulness(CU)**: 실제 사용 목적에 대한 적합성(예: 음성 인식 가능성) 두 가지 백본(MultiGauss, Audiobox‑Aesthetics) 모두에 DAT를 적용해 비교했다. 결과는 다음과 같다. - **DAT‑Source**는 PC와 CE에서 가장 큰 개선을 보였다. 데이터셋 간 구조적 차이가 크게 작용하는 이 차원에서는 도메인 라벨이 모델이 데이터셋 고유 특성을 이용하는 것을 억제해, MSE가 1.093→0.747, SRCC가 0.938→0.969로 상승했다. - **DAT‑Kmeans**는 PQ와 CU에서 최적의 성능을 기록했다. 기술적 결함은 데이터셋을 초월해 나타나므로, 클러스터 기반 도메인이 더 세밀한 음향 변이를 포착해 도메인 불변성을 강화한다. - **DAT‑Random**은 어느 정도 정규화 효과를 제공했지만, 의미 있는 도메인 정의가 없으므로 최고 성능에 미치지 못했다. 전체적으로 SRCC가 0.94 이상, MSE가 기존 베이스라인 대비 15~30% 감소했으며, t‑test(p≤0.05) 결과 모두 통계적으로 유의미했다. 또한, unseen generative scenarios(새로운 TTS, TTM 모델)에서도 일반화 성능이 크게 향상되었다. 논문의 주요 기여는 다음과 같다. 1. 데이터 부족 상황에서 발생하는 스퓨리어스 상관관계를 DAT로 효과적으로 억제한다. 2. 도메인 정의 전략을 체계적으로 비교해, MOS 각 차원에 최적의 도메인 정의가 다름을 실증한다. 3. 다양한 백본과 데이터셋에 걸쳐 결과의 일관성을 확인해, 제안 방법의 범용성을 입증한다. 이 연구는 향후 멀티모달 품질 평가, 신뢰성 모델링, 그리고 도메인 불변 학습을 활용한 다양한 AI 생성 콘텐츠 평가에 중요한 참고 자료가 될 것이다.