싱모스프로 포괄적 노래 품질 평가 벤치마크

초록

SingMOS‑Pro는 7,981개의 노래 클립과 41개 모델을 포함한 대규모 MOS 데이터셋으로, 전체·가사·멜로디 3가지 차원의 주관 평가를 제공한다. 최소 5명의 전문가가 채점했으며, 다양한 샘플링 레이트와 언어를 아우른다. 논문은 이 데이터를 활용한 MOS 예측 모델들의 학습·평가 전략을 제시하고, UTMOS, DNS‑MOS 등 기존 메트릭과 SSL 기반 모델을 벤치마크하여 강력한 기준선을 제시한다.

상세 분석

SingMOS‑Pro는 기존 SingMOS의 한계를 극복하고, 전체 품질 외에 가사 명료도와 멜로디 자연스러움을 별도 점수로 측정한다는 점에서 의미가 크다. 7,981개의 클립은 SVS, SVC, SVR, 그리고 실제 녹음(GT) 네 가지 작업을 균형 있게 포함하고, 41개의 모델·12개의 데이터셋을 아우른다. 특히 4,155개의 클립에 대해 가사·멜로디 점수를 추가함으로써 다중 과제 학습이 가능하도록 설계되었다.

데이터 수집 단계에서는 데이터셋, 모델, 설정이라는 세 축을 고려해 다양성을 확보했으며, 16 kHz, 24 kHz, 44.1 kHz 세 가지 샘플링 레이트를 모두 포함한다. 실험에서는 16 kHz만을 사용해 SSL 백본(wav2vec2‑large)을 학습했으며, L1 마진 손실과 SGD(learning‑rate 0.001, momentum 0.9)로 200 epoch을 진행했다. 평가 지표는 RMSE, LCC, SRCC이며, 특히 SRCC를 가장 중요하게 다루어 순위 일관성을 강조한다.

표 2의 결과는 도메인 ID와 멀티‑데이터셋 파인튜닝(MDF) 여부에 따라 성능 차이가 크게 나타남을 보여준다. 도메인 ID 없이 단일 데이터셋만 사용했을 때 SRCC는 0.45 수준에 머물렀지만, 멀티‑데이터셋 파인튜닝을 적용하면 SRCC가 0.75까지 상승한다. 이는 서로 다른 MOS 배치(전체·가사·멜로디) 간의 표준 차이를 효과적으로 통합할 경우 모델이 더 일반화된 품질 예측 능력을 갖게 됨을 의미한다.

표 3에서는 기존 음성 MOS 예측 모델인 DNS‑MOS, UTMOS, SingMOS, SHEET‑ssqa와 SSL 기반 모델을 비교한다. SSL 모델이 전체·시스템 수준 모두에서 가장 높은 SRCC(0.79, 0.68)를 기록했으며, 특히 멜로디와 가사 점수를 동시에 예측할 때도 경쟁력을 보였다. 반면 DNS‑MOS와 UTMOS는 전체 MOS에만 초점을 맞추어 가사·멜로디 차원을 반영하지 못한다는 한계가 있다.

데이터 분할 전략도 주목할 만하다. 50개 이상 클립을 가진 시스템은 7:3 비율로 학습·테스트를 나누고, 10‑50개 클립은 전부 테스트에 할당했다. 이는 소수 샘플 시스템이 과적합되지 않도록 하면서도, 다양한 시스템을 평가에 포함시키려는 의도다. 또한 배치별 MOS 표준 차이를 고려해 테스트1·2·3을 별도 유지함으로써, 실제 현장 적용 시 서로 다른 평가 프로토콜을 혼용할 경우 발생할 수 있는 편향을 최소화한다.

전체적으로 SingMOS‑Pro는 노래 품질 평가를 위한 가장 포괄적인 데이터베이스이며, 다중 차원 MOS와 다양한 모델·데이터셋을 포함함으로써 자동 MOS 예측 연구에 새로운 벤치마크를 제공한다. 향후 연구는 멀티‑태스크 학습, 언어 간 전이, 그리고 고해상도(44.1 kHz) 샘플링을 활용한 품질 예측 모델 개발에 초점을 맞출 수 있다.