컨볼루션 신경망을 활용한 드럼 트랜스크립션 데이터 증강 전략

초록

정밀하게 주석이 달린 데이터의 부족은 딥러닝의 주요 과제입니다. 본 연구는 드럼 트랜스크립션 작업을 위해 노이즈/정현파 성분 리믹스, 어택 리믹스, 시간 보상 유무에 따른 피치 변환 등 고급 오디오 변환 기반 데이터 증강 전략을 조사합니다. CNN 기반 드럼 트랜스크립션 모델에 이러한 전략을 적용한 결과, 드롭아웃이나 가우시안 노이즈 추가 같은 기본 정규화 방법보다 우수한 성능 향상을 보였습니다.

상세 분석

본 논문은 음악 정보 검색(MIR) 분야에서 중요한 과제인 자동 드럼 트랜스크립션의 성능을 높이기 위한 데이터 증강 방법론을 체계적으로 탐구합니다. 핵심 통찰은 정밀 주석 데이터의 희귀성이라는 근본적인 문제를, 원본 오디오 신호 자체를 고품질 변환하여 인공적으로 데이터를 확장함으로써 해결하려는 접근법에 있습니다.

기술적 분석의 첫 번째 핵심은 입력 표현으로, 다중 채널 멜 스펙트로그램(MCMS)을 사용합니다. 이는 23ms, 46ms, 93ms의 서로 다른 세 개의 창 크기로 생성된 멜 스펙트로그램을 채널로 결합한 것으로, 다양한 시간 해상도의 특징을 동시에 포착하여 특히 과도적인 드럼 사운드의 검출에 유리합니다.

두 번째는 검증된 CNN 아키텍처를 채택하였으며, 본 실험에서는 두 개의 합성곱-풀링 층 스택과 256개의 유닛을 가진 완전 연결 층으로 구성된 네트워크를 사용했습니다. 이 네트워크를 베이스라인으로 하여 다양한 데이터 증강 기법의 효과를 비교 평가합니다.

가장 중요한 기술적 기여는 오디오-도메인 특화 데이터 증강 기법들입니다. 기존 이미지 처리에서의 단순 변환(회전, 크기 조절)을 넘어, 오디오 신호의 물리적/지각적 특성에 초점을 맞춘 네 가지 고급 변환을 제안합니다: 1) 노이즈 리믹스: 신호의 정현파와 잡음 성분을 분리한 후 비율을 변경하여 사운드의 텍스처를 변형합니다. 2) 어택 리믹스: 과도성(트랜지언트) 성분의 세기를 조절하여 드럼 사운드의 어택 특성을 변화시킵니다. 3) 시간 보상 피치 변환: 피치를 변경하지만 위상 보코더를 사용하여 템포와 어택 특성을 보존합니다. 4) 시간 비보상 피치 변환: 피치 변경 시 시간 축도 함께 스케일링되어 템포가 변합니다. 여기에 스펙트럼 엔벨로프 변환을 추가하여 음색을 추가로 변화시킬 수 있습니다.

실험 결과에서의 핵심 통찰은 악기별로 최적의 증강 전략이 다르다는 점입니다. 베이스 드럼과 스네어 드럼에는 오디오 변환 기법(특히 어택 리믹스와 시간 비보상 피치 변환)이 가장 효과적이었고, F1-score에서 약 2%p의 향상을 보였습니다. 반면, 하이햇 검출에는 입력 스펙트로그램에 가우시안 노이즈를 추가하는 단순한 방법이 모든 고급 오디오 변환을 능가하는 최고의 성능을 기록했습니다. 이는 하이햇 사운드의 스펙트럼 특성이 다른 드럼에 비해 더 복잡하고 변수가 많아, 단순한 노이즈 추가가 모델의 견고성을 높이는 데 더 효과적일 수 있음을 시사합니다. 이 결과는 데이터 증강 전략을 설계할 때 목표 작업과 데이터의 고유 특성을 깊이 이해해야 함을 강조합니다.