자동계층음악분석 AutoSchA

초록

**
AutoSchA는 바흐와 같은 바로크 푸가의 선율을 그래프 형태로 변환하고, 다중관계 그래프 신경망과 새롭게 제안된 “노드 격리” 풀링 기법을 이용해 슈엔커 분석을 자동으로 수행한다. 실험 결과, 인간 전문가 수준의 정확도로 깊이별 구조를 추출함을 보였다.

**

상세 분석

**
본 논문은 전통적인 슈엔커(Schenkerian) 분석을 컴퓨터가 자동으로 수행하도록 설계된 최초의 딥러닝 프레임워크를 제시한다. 핵심 아이디어는 음악 악보를 다중관계 그래프(노트 = 정점, 다양한 음악적 관계 = 엣지)로 변환한 뒤, 멀티레레이션 그래프 컨볼루션을 통해 노드 임베딩을 학습하는 것이다. 기존의 그래프 풀링 기법(DiffPool, Top‑k)은 고정된 풀링 비율이나 클러스터 수를 필요로 하지만, 슈엔커 분석에서는 각 깊이마다 남겨야 할 구조적 음표 수가 곡마다, 깊이마다 다르다. 이를 해결하기 위해 저자들은 노드 격리(Node Isolation) 풀링을 고안하였다. 풀링 스코어를 직접 최적화하는 교차 엔트로피 손실과, 깊이 간 스코어의 단조성을 강제하는 정규화 항을 결합함으로써, 모델이 “덜 중요한” 음표를 단계적으로 마스크하고, 남은 음표만을 다음 레이어에 전달한다. 이렇게 얻어진 단계별 마스크는 슈엔커 분석의 depth‑wise bit array와 일대일 대응한다.

그래프 구성에서는 피치 클래스, MIDI 피치, 스케일 디그리 등 3가지 피치 특성과, 지속시간, 오프셋, 메트릭 강도 등 3가지 리듬 특성을 정점 특징으로 사용한다. 엣지는 기존 연구에서 차용한 onset, forward, voice, rest, sustain, slur 관계 외에 인터벌 엣지(다음 2도, 3도 등)를 추가해 장음 간의 화성적 연결까지 포착한다. 이러한 풍부한 관계는 멀티레레이션 GCN이 각 관계별 가중치를 학습하도록 하여, 화성 진행과 선율 흐름을 동시에 고려하게 만든다.

학습 과정에서는 각 깊이별 정답 마스크(전문가가 만든 슈엔커 분석)를 supervision으로 사용한다. 풀링 스코어는 sigmoid 함수로 0~1 사이 값을 갖고, 사전 정의된 임계값 c_min보다 낮은 노드는 격리(isolate)되어 다음 레이어에 전달되지 않는다. 모델은 크로스 엔트로피 손실 L_p와 단조성 정규화 L_m을 합산한 총 손실을 최소화한다. 또한, 전역 풀링(그래프 레벨 특성)과 로컬 풀링(노드 레벨 특성)을 결합해 최종 깊이 예측을 수행한다.

실험에서는 바흐의 푸가 주제 30개를 훈련·검증·테스트 셋으로 나누어, 인간 전문가가 만든 슈엔커 분석과 모델 출력의 일치도를 평가했다. 정확도, F1 점수, 그리고 깊이별 음표 보존 비율 모두 기존 규칙 기반 모델(예: Kirlin‑Jensen)과 DiffPool 기반 GNN보다 우수했으며, 특히 깊이 3~4에서 인간 수준에 근접한 성능을 보였다. Ablation study를 통해 (1) 인터벌 엣지 제거, (2) 노드 격리 풀링 대신 Top‑k 풀링 사용, (3) 정규화 항 제거 시 성능이 현저히 떨어지는 것을 확인했다.

이 논문은 (1) 음악 데이터를 그래프화하는 체계적 파이프라인, (2) 다중관계 GCN을 통한 풍부한 음악적 컨텍스트 학습, (3) 슈엔커 분석에 특화된 노드 격리 풀링이라는 세 가지 기술적 기여를 제공한다. 한계점으로는 현재 바흐와 같은 바로크 음악에만 검증되었으며, 복잡한 현대음악이나 비서양 음악에 대한 일반화는 추가 연구가 필요하다. 또한, 전문가 라벨링 비용이 여전히 높은 점은 데이터 확장에 제약이 된다. 향후 연구에서는 반지도학습, 데이터 증강, 그리고 실시간 악보 입력에 대한 확장 가능성을 탐색할 여지가 있다.

**