음악 메타데이터 기반 캡션 생성의 새로운 패러다임

초록

음악 오디오를 입력으로 메타데이터를 예측하고, 이를 사전 학습된 대형 언어 모델로 자연어 캡션으로 변환하는 두 단계 파이프라인을 제안한다. 기존 엔드‑투‑엔드 캡션 모델과 비교해 학습 비용이 절감되고, 스타일을 사후에 자유롭게 조정할 수 있으며, 부분 메타데이터를 활용한 보완(imputation)도 가능함을 실험을 통해 입증한다.

상세 분석

본 논문은 음악 캡션 생성 문제를 기존의 오디오‑텍스트 직접 매핑 방식에서 메타데이터를 중간 매개체로 활용하는 구조로 전환한다. 핵심 아이디어는 (1) 오디오를 양자화 토큰으로 변환한 뒤 텍스트 전용 디코더‑전용 LLM에 주입해 멀티모달 이해 능력을 부여하고, (2) 이 모델을 메타데이터 예측 태스크에 인스트럭션 튜닝하여 장르, 분위기, 템포, 키, 악기 등 구조화된 정보를 자동으로 생성하도록 학습한다는 것이다. 메타데이터 예측 단계는 JSON 형식의 구조화된 출력을 목표로 하며, 입력 메타데이터가 일부 제공될 경우 이를 보완(impute)하는 능력도 갖춘다. 두 번째 단계에서는 동일한 사전 학습 LLM을 사용해 “예측된 메타데이터 → 자연어 캡션” 변환 프롬프트를 설계한다. 이 과정은 사후에 프롬프트를 교체하거나 인‑컨텍스트 예시를 추가함으로써 캡션 스타일(예: MusicCaps 스타일, Song Describer 스타일)과 표현 수준을 자유롭게 조정할 수 있다. 따라서 고정된 스타일의 합성 캡션을 미리 만들고 학습하는 기존 방식과 달리, 스타일을 별도 파라미터 없이 즉시 바꿀 수 있다.

실험에서는 25 천시간 규모의 내부 라이선스 음악 데이터(장르, 분위기, 키워드 등 10여 개 필드)와 MusicCaps·SongDescriber 공개 데이터셋을 활용했다. 메타데이터 예측 정확도는 SBER‑T 임베딩 기반 유사도 지표로 평가했으며, 제안 모델은 장르(0.548), 분위기(0.711), 악기(0.675), 키워드(0.566)에서 기존 엔드‑투‑엔드 캡션 모델과 비슷하거나 약간 우수한 성능을 보였다. 캡션 생성 측면에서도 SBER‑T 유사도 점수는 0.4430.462 수준으로, 메타데이터‑투‑캡션 파이프라인이 엔드‑투‑엔드 모델(0.4780.468)과 근소하게 차이 나는 수준임을 확인했다. 특히 스타일 프롬프트를 바꾸면 BM25·길이·POS 히스토그램 등 다각적인 스타일 지표에서 유의미한 향상이 나타났으며, 부분 메타데이터를 제공했을 때 메타데이터 예측 점수가 0.50 %에서 100 %까지 순차적으로 상승하는 등 보완 능력이 입증되었다.

학습 비용 측면에서는 메타데이터 예측 모델이 161 k 스텝, 캡션 엔드‑투‑엔드 모델이 347 k 스텝을 필요로 했으며, 전자는 약 절반 수준의 연산량으로 동일한 하드웨어(NVIDIA A100 4GPU)에서 학습이 완료되었다. 이는 메타데이터‑투‑캡션 구조가 데이터 효율성과 모델 재사용성을 동시에 제공한다는 중요한 시사점을 제공한다. 또한, 메타데이터를 직접 예측함으로써 향후 새로운 음악 도메인(예: 클래식, 전통음악)이나 특수 스타일(시적, 기술적 설명)로의 확장이 기존 캡션 모델을 재학습하지 않고도 가능해진다.

전체적으로 이 연구는 음악 이해와 생성에서 메타데이터를 핵심 중간 표현으로 활용함으로써, 학습 효율성, 스타일 유연성, 그리고 실용적인 메타데이터 보완 기능을 동시에 달성한 점이 가장 큰 공헌이다. 향후 연구에서는 더 정교한 메타데이터 스키마 설계, 멀티모달 어텐션 메커니즘 강화, 그리고 사용자 맞춤형 프롬프트 설계 등을 통해 캡션 품질과 제어 가능성을 한층 높일 여지가 있다.