오픈 라이선스로 만든 정밀 음악 검색 벤치마크 IncompeBench

초록

IncompeBench은 CC‑BY 라이선스로 제공되는 1,574개의 고품질 음악 조각과 500개의 다양하고 정교한 자연어 질의를 포함한다. 125,000개 이상의 0‑3 등급의 세밀한 관련성 판단을 자동 파이프라인과 인간 검증을 통해 구축했으며, ‘Lenient’와 ‘Strict’ 두 버전으로 공개한다.

상세 분석

본 논문은 음악 정보 검색(MIR) 분야에서 공개‑재사용 가능한 고품질 벤치마크가 부족하다는 문제를 인식하고, 이를 해결하기 위해 다단계 자동화 파이프라인을 설계하였다. 첫 단계에서는 저작권 문제가 없는 Incompetech 컬렉션을 선택하고, 90초 이하의 트랙을 제외한 뒤 30초 길이의 청크 3개를 생성한다. 동일 곡에서 추출된 청크는 음악적 특성이 거의 동일하므로, 비용 절감을 위해 각 곡당 하나의 청크만을 최종 코퍼스로 채택해 총 1,574개의 오디오 샘플을 확보하였다.

다음으로 ‘Song Card’를 생성한다. 최신 멀티모달 LLM(Gemini 3 Pro)을 활용해 각 곡의 템포, 리듬, 장르, 악기 구성, 영감받은 아티스트 등 약 30개의 세부 속성을 추출한다. 이 단계는 직접 질의를 생성할 경우 속성 정보가 표면적 표현에 머무는 문제를 해결하기 위한 전처리 역할을 한다.

질의 생성은 두 단계로 이루어진다. 1) Song Card와 오디오, 그리고 네이버의 Nemotron Persona 데이터셋에서 무작위로 선택된 4개의 사용자 페르소나를 제공해, 해당 페르소나가 어떤 곡에 관심을 가질지와 질의가 다룰 속성을 선택하도록 한다. 2) 선택된 속성, 질의 스타일(키워드, 질문, 명령, 대화형, 서술형), 길이, 부정 비율 등을 제약조건으로 제시해 두 개의 후보 질의를 생성하고, 그 중 하나를 무작위로 채택한다. 이렇게 하면 속성 수가 14개, 길이가 326 토큰, 부정 포함 비율이 약 12%인 500개의 질의가 균형 있게 배분된다.

관련성 판단 후보 선정 단계에서는 각 질의마다 CLAP, TTM‑R++, CLAMP‑3, ColQwen‑Omni 등 5개의 최신 음악‑텍스트 매칭 모델과 mixedbread‑embed‑large를 이용해 상위 500개의 후보를 추출한다. 이후 Reciprocal Rank Fusion(RRF)으로 통합해 상위 250개 후보를 확보하고, 이 중 125,000개 이상의 (질의, 청크) 쌍에 대해 0‑3 4단계 등급을 부여한다. 판단은 Gemini 3 Pro를 UMBRELA 프레임워크에 맞춰 프롬프트한 결과이며, 인간 전문가 검증을 통해 Cohen’s κ가 0.94(가중)라는 높은 일치도를 확인했다. 자동 판단이 과도하게 관대함을 보인 점을 반영해 ‘Lenient’(0‑3 모두 사용)와 ‘Strict’(0‑2를 무시하고 3만 사용) 두 버전을 제공한다.

실험에서는 기존 텍스트‑투‑음악 모델들(CLAP, TTM‑R++, CLaMP‑3 등)을 IncompeBench‑Lenient와 IncompeBench‑Strict에 적용해 Recall@10, nDCG@10 등을 측정했다. 전반적으로 절대 성능이 낮아 현재 모델들의 한계를 드러냈으며, 두 벤치마크 간 성능 차이가 모델 선택에 의미 있는 영향을 미침을 보여준다.

핵심 기여는 (1) CC‑BY 라이선스 기반의 1,574개 고품질 오디오와 500개 다양 질의를 공개, (2) 30개 속성을 포함한 Song Card와 다단계 프롬프트를 이용한 자동화된 고밀도 관련성 라벨링 파이프라인, (3) 인간 검증을 통해 높은 라벨 신뢰성을 확보하고 ‘Lenient’/‘Strict’ 두 평가 모드를 제공, (4) 최신 모델들의 베이스라인 결과와 재현 가능한 코드·프롬프트·DSPy 프로그램을 공개함으로써 MIR 연구의 재현성과 확장성을 크게 향상시켰다.