템포에 강건한 오디오‑악보 검색을 위한 주의 메커니즘

초록

본 논문은 고정된 크기의 오디오 윈도우가 템포 변화에 따라 포함하는 음악 내용이 달라지는 문제를 해결하고자, 소프트 어텐션 메커니즘을 도입한다. 어텐션을 통해 모델은 입력 스펙트로그램에서 검색에 가장 유용한 구간에 가중치를 부여하고, 불필요한 부분은 억제한다. 실험 결과, 어텐션을 적용한 모델이 기존 고정‑윈도우 모델보다 회수율(R@k), 평균 역순위(MRR) 등에서 현저히 우수함을 확인했으며, 어텐션 가중치가 음악의 음표 밀도에 따라 직관적으로 변하는 모습을 보였다.

상세 분석

이 연구는 멀티모달 임베딩 공간을 이용한 오디오‑악보 검색에서 “템포 불변성”이라는 핵심 문제를 다룬다. 기존 접근법은 일정한 프레임 수(예: 84프레임)로 고정된 오디오 윈도우를 사용했는데, 이는 빠른 템포에서는 과도한 음표가, 느린 템포에서는 부족한 음표가 포함돼 임베딩 품질이 저하되는 원인이 된다. 저자들은 이를 해결하기 위해 소프트 어텐션 레이어를 추가하였다. 구체적으로, 입력 스펙트로그램 A의 각 프레임 t에 대해 softmax를 통해 가중치 a_t를 계산하고, 이를 원본 프레임에 곱해 가중된 스펙트로그램을 오디오 임베딩 네트워크 g에 전달한다. 이렇게 하면 모델은 “필요한” 시간 구간에 집중하고, 불필요한 구간은 자동으로 무시한다.

실험 설계는 세 가지 모델을 비교한다. (1) BL: 어텐션 없이 기존 구조, (2) BL+AT: 어텐션 적용, 동일한 84프레임 입력, (3) BL+AT+LC: 어텐션 적용 + 입력 길이를 168프레임(≈4초)으로 확대. 평가 지표는 Recall@1, @5, @25, MRR, Median Rank이다. 결과는 BL+AT가 모든 지표에서 BL보다 개선되었으며, 특히 BL+AT+LC는 가장 높은 성능을 보였다(예: R@1 55.5% vs 41.4%). 이는 어텐션이 템포 변화에 따라 적절히 시간적 컨텍스트를 조절함을 의미한다.

어텐션 가중치 시각화에서도 흥미로운 현상이 관찰된다. 음표 밀도가 높은 구간에서는 가중치가 집중(peaked)하고, 밀도가 낮은 구간에서는 보다 평탄하게 분포한다. 이는 악보 스니펫이 템포와 무관하게 일정한 음표 수를 포함한다는 가정과 일치한다. 따라서 모델은 “음표 밀도”라는 고차원적인 특성을 학습해, 템포에 따라 변하는 오디오 입력을 효과적으로 정규화한다.

기술적 기여는 크게 두 가지이다. 첫째, 고정된 윈도우 크기에 얽매이지 않고 가변적인 시간 정보를 활용할 수 있는 어텐션 기반 전처리 모듈을 제안했다. 둘째, 이 모듈을 기존 CCA‑기반 임베딩 파이프라인에 무리 없이 통합함으로써, 기존 구조를 크게 변경하지 않으면서도 템포 불변성을 크게 향상시켰다. 향후 연구에서는 실제 연주 데이터에 대한 일반화, 어텐션 메커니즘의 다중 헤드 확장, 그리고 실시간 검색 시스템에의 적용 가능성을 탐색할 여지가 있다.