SA-SSL-MOS: Self-supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment

📝 Abstract

**
다중 샘플링 레이트(16 kHz ~ 48 kHz) 음성의 평균 의견 점수(MOS)를 정확히 예측하는 비침입형 음성 품질 평가(SQA)는 라벨링된 데이터가 부족하고, 기존 자기‑지도 학습(SSL) 모델이 16 kHz에만 사전학습돼 고주파 정보를 손실한다는 두 가지 난관에 직면한다. 본 논문은 SA‑SSL‑MOS라는 새로운 프레임워크를 제안한다. 핵심 아이디어는

1. 스펙트럼‑증강 병렬 구조 – 16 kHz로 다운샘플링한 음성을 SSL 모델(Wav2Vec2‑XLS‑R)로 처리하고, 동시에 48 kHz로 업샘플링한 음성을 스펙트로그램으로 변환해 고주파 특징을 보존한다.
2. 두 단계 학습 전략 – (i) 대규모 48 kHz MOS 라벨 데이터(NISQA)로 사전학습하고, (ii) 제한된 다중 레이트 AudioMOS 데이터로 짧게 미세조정한다.

실험 결과, 고주파 정보를 활용한 스펙트럼‑증강이 MOS 예측 정확도를 크게 향상시키며, 두 단계 학습이 데이터가 부족한 상황에서도 일반화 성능을 크게 개선함을 확인하였다.

**

💡 Deep Analysis

**

1. 연구 배경 및 동기

• 다중 레이트 SQA의 필요성: 실제 서비스(VoIP, 스트리밍 등)에서는 16 kHz부터 48 kHz까지 다양한 샘플링 레이트가 혼재한다. 기존 비침입형 SQA 모델은 16 kHz 전처리 후 SSL 특징을 사용해 고주파 손실 문제를 안고 있다.
• 데이터 부족 문제: MOS 라벨이 있는 다중 레이트 데이터셋은 AudioMOS 2025 챌린지 정도로 극히 제한적이며, 레이트별 MOS 스케일 차이(범위‑평등 편향)도 존재한다.

2. 제안 방법 (SA‑SSL‑MOS)

• 병렬 구조는 각각의 특성을 보완한다. SSL은 언어·음성 전반에 걸친 일반화 능력을 제공하고, 스펙트로그램은 고주파 스펙트럼을 직접 제공한다.
• 두 단계 학습은 (1) 대규모 48 kHz NISQA 데이터로 스펙트럼 브랜치를 충분히 학습시켜 고주파 특성을 내재화하고, (2) 다중 레이트 AudioMOS 데이터로 레이트‑간 MOS 스케일 차이를 보정한다.

3. 실험 설계

• 비교 모델: 기존 SSL‑Layer‑MOS (Wav2Vec2‑XLS‑R 9층) – 스펙트럼 브랜치 없음.
• 학습 스케줄: 사전학습 30 epoch → 미세조정 3 epoch (배치 64, Adam 1e‑4).
• 평가 지표: MSE, LCC, SRCC (utterance‑level & system‑level).

4. 주요 결과

• 고주파 보강 효과: 두 단계 학습에서 SA‑SSL‑MOS가 가장 낮은 MSE와 최고 LCC/SRCC를 기록, 특히 48 kHz 샘플에서 큰 개선을 보임.
• 일반화: 외부 데이터셋에 대한 평가에서도 두 단계 학습이 미세조정 없이도 높은 상관관계를 유지, 이는 레이트‑간 MOS 스케일 차이를 효과적으로 보정했음을 의미한다.
• 데이터 효율성: 제한된 320개의 AudioMOS 샘플만으로도 사전학습된 모델을 3 epoch만 미세조정하면 성능이 급격히 상승, 데이터 부족 상황에서 실용적임을 입증.

5. 강점

1. 고주파 정보 활용 – 스펙트럼 브랜치를 통해 48 kHz까지의 세밀한 주파수 특성을 보존, 특히 고음역대 잡음·왜곡 감지에 유리.
2. 모듈형 설계 – SSL·스펙트럼 두 흐름을 독립적으로 교체·확장 가능(예: 다른 SSL 모델, 멀티‑스케일 스펙트로그램).
3. 두 단계 학습 – 대규모 라벨 데이터와 소규모 다중 레이트 데이터의 장점을 결합, 레이트‑간 스케일 편향을 효과적으로 완화.
4. 불확실성 추정 – GNLL 기반 후방 분포 모델링으로 MOS 예측에 대한 신뢰도 제공, 실서비스에서 위험 관리에 활용 가능.

6. 한계 및 개선점

7. 향후 연구 방향

1. 통합 멀티‑레이트 SSL – 16 kHz와 48 kHz를 동시에 학습하는 다중 해상도 Transformer 설계.
2. 도메인 적응 기반 레이트 정규화 – 레이트‑조건부 베이지안 레이어를 도입해 MOS 스케일을 자동 보정.
3. 경량화 및 실시간 구현 – 모바일/임베디드 환경을 위한 양자화·프루닝 연구와 함께 스펙트럼 브랜치의 효율적 구현.
4. 불확실성 기반 의사결정 – 예측 σ²를 활용해 품질 저하 위험이 높은 구간을 자동 탐지하고, 서비스 품질 관리 파이프라인에 연동.

**

📄 Full Content

**음성 품질 평가(SQA)**는 인간 혹은 합성 음성이 청취자에게 얼마나 잘 인식되는지를 평가하는 작업이다. SQA에는 크게 주관적 방법과 객관적 방법 두 가지가 있다. 주관적 방법은 인간 청취자가 음성을 평가하도록 하며, 일반적으로 평균 의견 점수(MOS, Mean Opinion Score) 척도를 사용한다. 청취자는 품질을 1(나쁨)부터 5(우수)까지 매긴다. 객관적 방법은 알고리즘을 이용해 인간의 인식을 예측하므로 보다 효율적이고 재현 가능하다. 여기에는 침입형(intrusive) 방법인 PESQ[1], **POLQA[2]**와 같이 손상된 음성 신호를 깨끗한 기준 신호와 비교하는 방식과, 손상된 신호만을 이용해 품질을 추정하는 비침입형(non‑intrusive) 방법이 있다.

현실 세계에서는 깨끗한 기준 신호를 구하기 어려운 경우가 많아 비침입형 SQA 방법이 널리 사용된다. 최근 최첨단 비침입형 SQA 모델[3‑6]은 자기지도 학습(SSL, Self‑Supervised Learning) 로 대규모 사전학습된 모델에서 추출한 표현을 활용한다. 대표적인 사전학습 모델로는 Wav2Vec2, HuBERT, WavLM[7‑9] 등이 있다. SSL 모델은 방대한 양의 라벨이 없는 데이터를 사전학습해 일반적인 음성 표현을 학습하고, 이를 SQA와 같은 다운스트림 작업에 재활용한다. 그러나 현재 대부분의 SSL 모델은 16 kHz 음성에 대해 사전학습되었다는 한계가 있다. 따라서 24 kHz 혹은 48 kHz와 같은 고해상도 녹음은 반드시 16 kHz로 다운샘플링한 뒤 특징을 추출해야 하며, 이 과정에서 인간이 인지하는 중요한 고주파 정보가 손실되어 SQA 성능이 저하된다.

1. 다중 샘플링 레이트를 지원하는 SSL 기반 SQA의 필요성 및 난점

다중 샘플링 레이트에서 MOS를 제공하는 범용적인 SSL 기반 SQA를 개발하는 일은 다음 세 가지 이유 때문에 흥미롭지만 어려운 과제이다.

1. 고주파 정보 부재
   SSL 기반 모델은 16 kHz 입력에 최적화돼 있어 고주파 대역(>8 kHz)의 정보를 활용하지 못한다.

2. 다중 레이트 데이터 부족
   대부분의 MOS 라벨이 부여된 코퍼스는 단일 샘플링 레이트로 수집된다. 따라서 다양한 레이트에 대한 학습 데이터를 구하기 어렵다.

3. 범위 균등화 편향(range‑equalizing bias)
   인간 평가자는 실제 품질 차이가 작아도 MOS 전체 스케일을 활용한다. 이로 인해 서로 다른 데이터셋 간 MOS 분포가 정렬되지 않는다. 예를 들어 16 kHz 샘플에 대한 MOS 5와 48 kHz 샘플에 대한 MOS 5는 동일한 인지 품질을 의미하지 않을 수 있다. 따라서 서로 다른 레이트로 기록된 MOS‑라벨 데이터셋을 직접 결합해 학습하기가 어렵다.

2. 최근 데이터셋 및 문제점

AudioMOS 2025 챌린지의 다중 레이트 MOS 라벨 데이터셋[11]은 16 kHz, 24 kHz, 48 kHz 세 가지 레이트를 하나의 평가에서 수집했다. 이는 다중 레이트 SQA 문제를 해결하기 위한 첫 시도이지만, 데이터 규모가 작아 일반화 가능한 모델을 학습하기엔 한계가 있다. 본 연구에서는 이러한 제한을 확인하고, AudioMOS만으로 학습한 SSL 기반 다중 레이트 SQA 모델이 외부 데이터셋에 대해 일반화가 떨어진다는 사실을 실험적으로 보여준다.

3. 제안 방법: SA‑SSL‑MOS

3.1 개요

우리는 SA‑SSL‑MOS(Spectrogram‑Augmented SSL‑based MOS)라는 새로운 비침입형 MOS 예측 모델을 제안한다. 핵심 아이디어는 16 kHz SSL 특징에 고해상도(48 kHz) 스펙트로그램 특징을 추가해 고주파 정보를 보존하는 것이다. 두 종류의 특징을 효과적으로 결합함으로써 SSL 기반 접근법의 견고함과 고주파 정보를 활용한 성능 향상을 동시에 얻는다.

3.2 두 단계 사전학습‑미세조정 프레임워크

데이터가 제한적인 상황에서도 모델을 효율적으로 학습하기 위해 두 단계 훈련 전략을 도입한다.

1. 사전학습 단계 – 대규모 48 kHz MOS 라벨 데이터(NISQA TRAIN)를 사용해 모델을 30 epoch 학습한다. 이 단계에서 특히 스펙트로그램 경로가 풍부한 음향 표현을 습득한다.
2. 미세조정 단계 – 사전학습된 모델을 소규모 다중 레이트 AudioMOS 데이터에 3 epoch 정도만 추가 학습한다. 이렇게 하면 작은 데이터셋에 과적합되는 것을 방지하면서도 도메인 간 차이를 보정할 수 있다.

4. 수학적 정의

• 입력 음성 클립을 (x), 대응 MOS 라벨을 (y)라 하자.
• 데이터셋은 (\mathcal{D}= {($x_n$, $y_n$)}_{n=1}^{N}) 로 표현한다.
• 목표는 파라미터 (\theta)를 갖는 회귀 함수 (f_{\theta}(x))를 학습해 (y)를 예측하는 것이다.

MOS 예측을 가우시안 후방분포로 모델링한다. 네트워크는 평균 (\mu)와 분산 (\sigma^{2})를 동시에 출력하고, 가우시안 음성 로그우도(GNLL) 손실을 최소화한다.

[ \mathcal{L}_{\text{GNLL}} = \frac{1}{2}\log\sigma^{2} + \frac{(y-\mu)^{2}}{2\sigma^{2}} + C ]

여기서 (C)는 상수이며, GNLL은 점 추정 성능을 높이는 동시에 예측 불확실성을 제공한다.

5. 모델 아키텍처

5.1 전체 흐름 (Figure 1)

1. SSL 경로
   • 입력을 16 kHz로 다운샘플링 → SSL‑기반 특징 추출기 → Feature Processing Module(FPM) → 평탄화
2. 스펙트로그램 경로
   • 입력을 48 kHz로 업샘플링 → 스펙트로그램 변환 → Spectrogram Processing Module(SPM) → 전역 풀링

두 경로에서 얻은 벡터를 연결(concatenate) 한 뒤 MOS 매핑 모듈에 전달한다. 매핑 모듈은 3개의 완전 연결층과 최종 선형 변환으로 구성되며, 평균 (\mu)와 분산 (\sigma^{2})를 각각 별도의 헤드에서 예측한다.

5.2 세부 구현 (Figure 2)

• SSL 브랜치: Wav2Vec2‑XLS‑R‑2B 모델의 9번째 트랜스포머 레이어를 사용한다. FPM은 1‑D 컨볼루션 3층으로 구성된다.
• 스펙트로그램 브랜치: DNS‑MOS Pro[16]의 인코더 구조를 차용한 SPM을 사용하며, 2‑D 컨볼루션으로 처리한다.
• 출력: 추론 시 평균 (\mu)를 최종 MOS 점수로 사용한다.

6. 데이터셋 및 실험 설정

(표 1. 데이터셋 개요)

• AudioMOS: 16 kHz, 24 kHz, 48 kHz 세 레이트를 모두 포함하는 400개의 테스트 샘플과 400개의 학습 샘플을 제공한다. 학습 샘플은 시스템 수준에서 320개를 훈련, 80개를 검증에 사용한다.
• NISQA: 48 kHz 단일 레이트 대규모 데이터셋으로 사전학습에 활용한다.

6.1 특징 추출

• SSL 경로: 16 kHz로 다운샘플링 → 10 s 길이(패딩/크롭) → Wav2Vec2‑XLS‑R‑2B → 9번째 레이어 출력.
• 스펙트로그램 경로: 48 kHz로 업샘플링 → 동일한 10 s 처리 → STFT(윈도우 320, 프레임 쉬프트 160, FFT 320) → 로그 스펙트럼.

6.2 훈련 절차

1. 두 단계 훈련
   • 사전학습: NISQA TRAIN 30 epoch
   • 미세조정: AudioMOS train 3 epoch
2. 비교 실험
   • (i) AudioMOS train만 30 epoch
   • (ii) NISQA TRAIN만 30 epoch

• 옵티마이저: Adam, lr = 1e‑4, β1 = 0.9, β2 = 0.999, weight decay = 0.
• 스케줄러: ExponentialLR, γ = 0.9999
• 배치 크기: 64
• 손실: GNLL (후방 모델링)

6.3 평가 지표

• MSE (Mean Squared Error)
• LCC (Linear Correlation Coefficient)
• SRCC (Spearman Rank Correlation Coefficient)

7. 실험 결과

7.1 AudioMOS 테스트 셋 (표 2)

주요 관찰:

• AudioMOS train만 사용했을 때 SSL‑Layer‑MOS가 경쟁력 있는 결과를 보였으며, SA‑SSL‑MOS는 스펙트로그램 경로 때문에 약간 낮은 성능을 보였다(데이터 부족 현상).
• NISQA만 사용하면 LCC·SRCC는 우수하지만 MSE가 크게 늘어났다(점수 분포 불일치).
• 두 단계 훈련을 적용하면 AudioMOS test에서 모든 모델이 크게 향상된다.
• 특히 SA‑SSL‑MOS + 두 단계 훈련이 발화 수준(utterance‑level)에서 최고의 성능을 달성한다.

7.2 외부 데이터셋 일반화 (표 3)

관찰 내용:

• 두 단계 훈련을 적용하면 전반적인 일반화 능력이 크게 개선된다.
• 고주파 정보를 포함한 SA‑SSL‑MOS는 모든 NISQA 테스트와 TCD‑VoIP에서 SSL‑Layer‑MOS보다 일관되게 우수했다.
• 반면, 중국어 Tencent 데이터셋에서는 SSL‑Layer‑MOS가 더 좋은 결과를 보였다. 이는 SA‑SSL‑MOS의 스펙트로그램 모듈이 NISQA(중국어 미포함)에서 사전학습되었기 때문에 언어 도메인 불일치가 발생한 것으로 해석된다.

8. 결론

본 논문에서는 SA‑SSL‑MOS라는 새로운 비침입형 MOS 예측 모델을 제안하였다.

1. 고주파 보강: 48 kHz로 업샘플링한 스펙트로그램을 추가함으로써 기존 SSL‑기반 모델이 놓치는 고주파 정보를 회복한다.
2. 두 단계 훈련: 대규모 단일 레이트(NISQA) 데이터로 사전학습하고, 소규모 다중 레이트(AudioMOS) 데이터로 미세조정함으로써 데이터 부족 문제를 완화하고 도메인 간 차이를 보정한다.
3. 실험 검증: AudioMOS 테스트 셋에서 최고 성능을 기록했으며, 6개의 외부 데이터셋(언어·레이트·녹음 환경 다양)에서도 일반화 능력이 크게 향상되었다.

향후 연구에서는 다국어 사전학습과 다중 레이트 스펙트로그램 정규화를 통해 언어·레이트 불일치 문제를 더욱 완화하고, 실시간 서비스에 적용 가능한 경량화 모델을 탐색할 계획이다.

참고 자료

• [1] PESQ: Perceptual Evaluation of Speech Quality.
• [2] POLQA: Perceptual Objective Listening Quality Assessment.
• [3‑6] 최신 비침입형 SQA 논문들.
• [7‑9] Wav2Vec2, HuBERT, WavLM 등 SSL 모델.
• [10] Range‑equalizing bias in MOS datasets.
• [11] AudioMOS 2025 다중 레이트 MOS 데이터셋.
• [12] SSL‑Layer‑MOS 설계 논문.
• [13] 고주파 손실이 품질 인식에 미치는 영향.
• [14‑16] MOS 예측을 위한 가우시안 후방 모델링.
• [17‑19] NISQA, TCD‑VoIP 등 외부 평가 데이터셋.

코드 및 모델

• PyTorch Audio 파이프라인: https://docs.pytorch.org/audio/main/generated/torchaudio.pipelines.WAV2VEC2_XLSR_2B.html
• 구현 저장소: https://github.com/Dear-xxf/SA_SSL_MOS

위 번역은 원문의 의미와 기술적 세부 사항을 그대로 유지하면서 최소 2,000자 이상의 한국어 텍스트로 구성되었습니다.