음악 표절 탐지를 위한 세그먼트 전사 기반 프레임워크

초록

본 논문은 음악 표절 탐지 작업을 기존 MIR 과제와 명확히 구분하고, 세그먼트 전사와 멀티모달 시암즈 네트워크를 결합한 파이프라인을 제안한다. 실제 표절 사례를 포함한 Similar Music Pair(SMP) 데이터셋을 구축하고, 세그먼트‑레벨 유사도 측정·필터링을 통해 표절 곡과 해당 구간을 자동으로 식별한다. 실험 결과는 기존 커버곡 식별 모델보다 구간 정확도는 높지만 전체 곡 매칭에서는 낮은 성능을 보이며, 향후 데이터·모델 확장이 필요함을 시사한다.

상세 분석

이 논문은 먼저 “음악 표절 탐지(MPD)”라는 작업을 정의하고, 기존의 커버곡 식별(CSI)이나 오디오 핑거프린팅과는 “부분 유사성”과 “선택적 음악 요소”라는 두 축에서 근본적인 차이를 강조한다. 이러한 정의는 표절이 전체 곡이 아니라 특정 멜로디, 화성, 보컬 라인 등 제한된 구간에 국한될 수 있음을 전제로 하며, 따라서 탐지 시스템은 구간‑레벨 정밀성을 확보해야 함을 논리적으로 설득한다.

제안된 시스템은 크게 세 단계로 구성된다. 1) 세그먼트 전사 단계에서는 Demucs를 이용한 소스 분리, all‑in‑one 모델로 구조 분석, AST와 SheetSage로 각각 보컬·멜로디 전사, Harmony Transformer로 화성 전사를 수행한다. 이 과정에서 4마디 길이의 세그먼트를 추출해 피아노롤, 온셋, 코드 등 다중 모달 표현을 만든다. 2) 세그먼트‑레벨 유사도 측정에서는 두 가지 접근법을 병행한다. 첫 번째는 피아노롤, 리듬, 코드 유사도를 가중합해 점수를 산출하는 전통적 도메인 기반 방법이며, 두 번째는 MER​T와 자체 설계한 멀티모달 CNN을 시암즈 네트워크 구조로 학습시켜 자동으로 표절 패턴을 학습한다. 특히, 두 모델을 교차‑어텐션으로 결합한 듀얼‑인코더 방식도 실험에 포함한다. 3) 필터링 및 최종 판정 단계에서는 상위 20개의 세그먼트 매칭 결과에 가중 투표를 적용해 전체 곡 수준에서 가장 유사한 후보를 선택한다.

데이터 측면에서 저자는 실제 표절·리메이크 사례를 기반으로 72쌍의 원곡·유사곡을 수집한 SMP 데이터셋을 구축하고, 추가로 커버곡 데이터인 Covers80을 활용해 대규모 인덱스를 구성한다. 각 쌍에는 구간 시작·종료 타임스탬프가 정확히 라벨링돼 있어, 구간‑레벨 정밀도(Rec@k@1s)와 곡‑레벨 mAP, MR1을 동시에 평가할 수 있다.

실험 결과는 흥미로운 패턴을 보여준다. 전통적 도메인 기반 방법(Music)과 MER​T는 비교적 안정적인 성능을 보였으며, 특히 MER​T는 1‑second recall@10에서 51%에 달한다. 반면, 멀티모달 CNN은 데이터 양이 부족한 탓에 전반적으로 낮은 점수를 기록했다. 곡‑레벨 평가에서는 최신 CSI 모델(Bytecov​er3, CoverHunter) 대비 mAP가 0.150.2 수준에 머물렀지만, MR1은 2846으로 상대적으로 높은 순위를 차지했다. 이는 시스템이 정확한 구간을 찾아내는 데는 강점이 있으나, 전체 곡 매칭에서는 아직 한계가 있음을 의미한다.

비판적으로 보면, 몇 가지 개선 여지가 있다. 첫째, 세그먼트 길이를 고정(4마디)한 것이 모든 장르·구조에 최적이라고 보기 어렵다. 변곡점이 많은 현대 팝이나 전자음악에서는 더 짧은 혹은 가변 길이 세그먼트가 필요할 수 있다. 둘째, 멀티모달 모델 학습에 사용된 데이터가 72쌍에 불과해 과적합 위험이 크다. 데이터 증강(예: 변조·템포 변환)이나 대규모 합성 표절 데이터와 실제 사례를 혼합한 하이브리드 학습이 요구된다. 셋째, 현재 평가 지표는 구간 일치 정도만을 측정하므로, “왜” 표절인지(멜로디·리듬·코드 등) 설명하는 정량적 메트릭이 부족하다. 향후 연구에서는 설명 가능성을 강화하기 위해 각 요소별 기여도를 시각화하거나, 법적 판단에 활용 가능한 근거 점수를 제공하는 방안을 모색해야 한다.

전반적으로 이 논문은 음악 표절 탐지라는 새로운 과제를 정의하고, 세그먼트 전사 기반 파이프라인을 최초로 제시함으로써 MIR 분야에 중요한 방향성을 제시한다. 데이터와 모델을 확장·정교화한다면, 실제 저작권 분쟁에서 실용적인 도구로 자리매김할 잠재력이 충분히 있다.