음악 모델 해석을 위한 고품질 개념 데이터셋 ConceptCaps

초록

ConceptCaps는 2만 1천 개의 음악‑캡션‑태그 삼중항을 제공하며, 200개 속성의 체계적인 분류와 VAE‑LLM‑MusicGen 3단계 파이프라인을 통해 깨끗한 양·음성 예시를 생성한다. TCAV 등 개념 기반 해석 방법의 신뢰성을 크게 향상시킨다.

상세 분석

본 논문은 음악 분야에서 개념 기반 해석(예: TCAV)의 근본적인 병목인 “정제된 양·음성 샘플 부족”을 정확히 짚어낸다. 기존 MusicCaps와 같은 데이터셋은 태그가 희소하고 잡음이 많아 개념을 명확히 구분하기 어렵다. 저자들은 이를 해결하기 위해 세 가지 핵심 설계를 도입한다. 첫째, 원시 태그를 200개의 의미론적 속성으로 정제하고, 이를 기반으로 VAE(β‑VAE)를 학습시켜 속성 간 공존 확률을 모델링한다. VAE는 다중‑핫 벡터를 입력·출력으로 사용해 잠재공간을 정규분포에 매핑하고, β값을 0.25로 설정해 재구성 손실을 우선시함으로써 속성 조합의 다양성을 유지한다. 둘째, 속성 리스트를 LLM(Llama 3.1 8B)에게 전달해 전문적인 캡션을 생성하도록 미세조정한다. QLoRA(4‑bit 양자화 + low‑rank 어댑터) 방식을 채택해 메모리 효율성을 확보하면서도 음악적 어휘와 문체를 학습시켰다. 이 단계는 “속성 → 텍스트” 변환의 정확성을 크게 높이며, 기존 제로샷 프롬프트가 초래하던 환각과 과다 서술을 억제한다. 셋째, MusicGen을 이용해 생성된 캡션을 오디오로 변환한다. 가이드 스케일 3.3을 적용해 텍스트와 오디오 간 정렬을 강화하고, 저작권 문제가 없는 30초 클립을 만든다. 전체 파이프라인은 “시맨틱 스케치 → 언어적 정제 → 청각적 구현”이라는 명확한 책임 분리를 통해 제어 가능성과 재현성을 확보한다. 평가에서는 CLAP 점수(음‑문 정렬), BERTScore·MAUVE(텍스트 품질), BLEU·ROUGE 등 다각적인 지표를 사용했으며, TCAV 실험에서 개념 프로브가 실제 음악적 패턴(예: 악기, 장르, 분위기)을 잘 포착함을 입증했다. 또한, 기존 API 기반 데이터 생성 대비 연산 비용이 크게 감소하고, VAE 잠재공간을 직접 조작해 원하는 속성 조합을 손쉽게 샘플링할 수 있다는 실용적 장점이 강조된다. 한편, 데이터는 전적으로 합성된 것이므로 실제 인간 청취자 평가가 부족하고, VAE가 학습한 분포가 원본 데이터의 편향을 그대로 반영할 가능성이 있다. 향후 실제 음원과의 교차 검증 및 사용자 연구가 필요하다. 전반적으로 ConceptCaps는 음악 모델 해석 연구에 필요한 “깨끗하고 통제된” 개념 샘플을 제공함으로써, TCAV 등 방법론의 신뢰성을 크게 높이고, 향후 멀티모달 음악 이해·생성 연구에 표준 데이터베이스로 자리매김할 잠재력을 가진다.