팝 음악 하이라이트 자동 추출과 감정 키포인트

초록

본 논문은 감정 분류를 대리 과제로 활용해 팝곡의 하이라이트 구간을 자동으로 찾는 방법을 제안한다. 순환 레이어 없이 순수 컨볼루션 구조와 어텐션 메커니즘을 결합한 두 가지 모델(조기 융합, 후기 융합)을 설계하고, 기존 에너지 기반·구조 반복 기반·단순 특징 기반 방법들과 비교 실험을 수행한다. RWC POP 100곡 데이터에서 코러스와의 겹침 비율을 평가한 결과, 제안 모델이 전반적으로 우수함을 확인하였다.

상세 분석

이 연구는 음악 하이라이트 추출을 “가장 감정이 풍부한 구간”이라는 가정 아래 진행한다는 점에서 기존의 에너지 기반 혹은 구조적 반복 탐지 방식과 근본적인 차별성을 가진다. 먼저 데이터 전처리 단계에서 30초 길이의 로그 멜스펙트로그램을 128 차원으로 추출하고, 이를 2‑D 컨볼루션 레이어에 입력한다. 기존 연구에서 사용된 CNN‑RNN 구조를 탈피해 순수 CNN만으로 시퀀스 정보를 포착하도록 설계했으며, 이는 학습 속도와 메모리 효율성을 크게 향상시킨다.

어텐션 메커니즘은 두 가지 형태로 구현된다. 조기 융합(early‑fusion)에서는 컨볼루션 피처맵에 바로 어텐션 가중치를 곱해 시각적 강조를 수행하고, 이후 풀링 및 전역 평균을 통해 곡 전체의 감정 예측을 만든다. 반면 후기 융합(late‑fusion)에서는 컨볼루션 피처를 먼저 시퀀스 차원으로 풀링한 뒤, 별도의 어텐션 레이어를 적용해 시간적 중요도를 학습한다. 두 접근법 모두 다중 클래스 감정 분류(예: 행복, 슬픔, 격정 등)를 목표로 손실 함수를 설계했으며, 하이라이트 구간은 어텐션 가중치가 최고인 연속 30초 구간으로 정의한다.

실험에서는 100곡의 RWC POP 데이터에 대해 코러스 라벨을 기준으로 하이라이트와의 겹침 비율을 정량화하였다. 에너지 기반 방법은 평균 파워 스펙트럼을 기준으로 최고 구간을 선택했으며, 구조 반복 기반은 Self‑Similarity Matrix와 Novelty Curve를 이용해 반복 구간을 탐지했다. 단순 특징 기반 방법은 템포, 비트 강도, 멜밴드 에너지 등 5가지 통계치를 조합해 하이라이트를 추정했다. 제안된 어텐션 기반 모델은 특히 후기 융합 버전에서 평균 겹침 비율이 0.68로, 가장 높은 성능을 보였으며, 조기 융합도 0.64로 기존 방법들을 모두 앞섰다.

또한, 모델 경량화와 학습 효율성을 검증하기 위해 배치 크기, 학습률, 컨볼루션 커널 수 등을 다양하게 변형한 실험을 수행했다. 순수 CNN 구조는 RNN을 포함한 기존 모델 대비 학습 epoch당 시간은 약 30 % 감소했으며, 파라미터 수는 2 배 이상 감소했다. 어텐션 가중치 시각화 결과, 감정이 강하게 표현되는 코러스 구간뿐 아니라 브릿지나 프리코러스와 같은 감정 전이 구간에서도 높은 점수를 부여함을 확인했다. 이는 감정 기반 하이라이트 정의가 단순 코러스 탐지보다 더 풍부한 음악적 의미를 포착한다는 것을 시사한다.

마지막으로 재현성을 위해 전체 코드와 사전 학습된 모델을 GitHub에 공개했으며, 데이터 전처리 파이프라인과 평가 스크립트도 함께 제공한다. 이는 향후 다른 장르나 대규모 데이터셋에 대한 확장 연구에 중요한 기반이 될 것이다.