기초 오디오 인코더가 음악 구조를 이해할 수 있을까

초록

본 연구는 11가지 기초 오디오 인코더(FAE)를 대상으로 음악 구조 분석(MSA) 성능을 종합적으로 평가한다. 자기지도 학습 중 마스크드 언어 모델링(MLM) 방식으로 음악 데이터에 사전학습된 인코더가 가장 높은 경계 검출·구조 라벨 예측 성능을 보였으며, 특히 긴 컨텍스트(30 초)를 활용하는 MusicFM이 최고의 결과를 얻었다. 반면 대비학습이나 코덱 기반 인코더는 MSA에 적합하지 않은 것으로 나타났다.

상세 분석

본 논문은 최근 MIR 분야에서 주목받고 있는 ‘기초 오디오 인코더(FAE)’를 음악 구조 분석(MSA)이라는 특수 과제에 적용했을 때 어떤 설계 요소가 성능에 기여하는지를 체계적으로 탐구한다. 11개의 인코더는 학습 방식(MLM, 대비학습, 토크나이제이션, 지도학습), 훈련 데이터 종류(음악 전곡 vs. 일반 오디오 클립), 컨텍스트 길이(5 초 vs. 30 초), 프레임 레이트 등 다양한 변수를 가지고 있다.

1. 학습 방식의 영향

   • MLM 기반 모델(MusicFM, MER T, AudioMAE) 전반이 다른 방식에 비해 경계 검출(F‑score HR.5F, HR3F)과 기능 예측(PWF, ACC)에서 현저히 높은 점수를 기록했다. 특히 MusicFM은 모든 지표에서 상위 2위 안에 들었으며, AudioMAE(Zhong)도 경계 검출에서 강력한 성능을 보였다.
   • 대비학습 기반 MULE은 프레임 레이트가 0.5 Hz로 매우 낮아 시간적 해상도가 부족했으며, 경계 검출 점수가 현저히 낮았다. 토크나이제이션(코덱) 모델인 EnCodec·DAC는 압축 목적에 최적화돼 장기 구조 정보를 포착하지 못해 MSA에 부적합했다.
   • 지도학습 기반 PANNs·PaSST은 AudioSet에 기반한 태깅 작업에 특화돼 있어 음악 구조와 같은 고차원 시퀀스 정보를 일반화하기 어려웠다.

2. 컨텍스트 길이

   • 동일한 MLM 방식이라도 MusicFM(30 초)과 MER T·AudioMAE(5 초) 사이에 성능 차이가 뚜렷했다. 긴 컨텍스트는 반복 구간·전이 구간을 한 번에 관찰하게 해 모델이 구조적 패턴을 더 잘 학습하도록 돕는다. 이는 특히 HR3F와 PWF 같은 느슨한 타임 윈도우에서 두드러졌다.

3. 훈련 데이터의 특성

   • 음악 전곡(Full‑track) 데이터를 사용한 모델은 동일 트랙 내 다양한 구간을 동시에 학습함으로써 “같은 곡 안에서의 유사·다른 구간 구분” 능력을 키운다. 반면 AudioSet과 같은 짧은 클립 위주의 데이터는 같은 트랙의 연속성을 거의 제공하지 않아 구조적 구분 능력이 제한된다. 따라서 MusicFM·MER T·AudioMAE(Zhong) 등은 음악 전곡 데이터 덕분에 MSA에 유리했다.

4. 프레임 레이트와 풀링

   • 논문에서는 2 Hz 수준의 프레임 레이트가 HR.5F 기준에 충분하다고 가정하고, 5 초 입력을 평균 풀링해 0.5 초 홉으로 의사 프레임을 생성했다. 풀링은 잡음 감소와 시계열 정규화에 기여해 HR3F와 PWF를 전반적으로 향상시켰지만, 경계 위치가 미세하게 이동해 HR.5F가 일부 모델에서 감소하는 부작용도 있었다.

5. 선형 프로빙 백엔드

   • 복잡한 디코더 대신 단일 선형 레이어만을 사용해 FAE가 자체적으로 구조 정보를 내재하고 있는지를 검증했다. 이는 백엔드가 최소화된 상황에서 성능 차이가 전적으로 프리트레인된 인코더의 표현력에 기인함을 의미한다.

6. 실험 설계와 재현성

   • Harmonix 데이터셋(912곡, 8‑fold CV)과 표준 MIR 평가 지표(HR.5F, HR3F, PWF, ACC)를 사용했으며, AdamW 옵티마이저와 코사인 스케줄링 등 최신 학습 관행을 적용했다. 코드와 파라미터가 공개돼 재현 가능성이 높다.

핵심 인사이트

• 음악 구조를 이해하려면 ‘음악 전곡 기반 MLM 사전학습 + 긴 컨텍스트(≥30 초)’가 핵심이다.
• 프레임 레이트는 2 Hz 정도면 충분하지만, 너무 낮은 레이트(0.5 Hz)나 과도한 압축(코덱) 모델은 구조 정보 손실이 크다.
• 단순 선형 백엔드만으로도 높은 성능을 얻을 수 있다는 점은, FAE 자체가 강력한 시계열 표현을 학습하고 있음을 시사한다.