오디오 효과에 강인한 악기 분류를 위한 데이터 증강

** 본 논문은 전자음악 제작(EMP)에서 흔히 사용되는 샘플링 문화와, 샘플 팩 데이터베이스의 효율적인 탐색을 위해 자동 악기 분류가 필요함을 출발점으로 삼는다. 기존 연구는 주로 깨끗한 원본 음원이나 믹스 트랙에서 악기 종류를 식별하는 데 초점을 맞추었으며, EMP 환경에서 적용되는 다양한 오디오 이펙트(디스토션, 포화, 리버브, 에코, 플랜저, 코러스, 피치시프팅 등)에 대한 견고성은 충분히 검증되지 않았다. 관련 연구에서는 전통적인 손수 만든 특징(MFCC, 스펙트럼 센트로이드 등)과 SVM, KNN, HMM 같은 분류기를 사용했으며, 이후 NSynth와 같은 대규모 데이터셋이 등장하면서 CNN 기반의 딥러닝 모델이 주류를 이루었다. 특히 Pons et al.이 제안한 수직형 필터를 활용한 단일 레이어 CNN은 파라미터 수가 적음에도 불구하고 IRMAS와 같은 벤치마크에서 높은 정확도를 기록했다. 그러나 이러한 모델도 오디오 이펙트가 적용된 입력에 대해서는 성능 저하가 보고되었다. 이에 저자들은 두 가지 실험을 설계했다. 첫 번째는 각 이펙트를 적용한 증강 데이터를 훈련에 추가했을 때 원본 테스트 셋에서 정확도가 어떻게 변하는가를 확인하는 것이고, 두 번째는 동일 이펙트가 적용된 테스트 셋에 대해 모델의 견고성을 평가하는 것이다. 데이터 증강은 LibROSA를 이용한 피치시프팅과, 무료 VST 플러그인을 활용한 디스토션·포화·리버브·에코·플랜저·코러스 효과를 각각 적용했다. 플러그인 파라미터는 기본 프리셋을 사용하거나, 에코와 피치시프팅처럼 변형 정도를 조절해 실제 프로덕션 상황을 모사하였다. 증강된 오디오 파일은 4 초 길이로 통일하고, 16 kHz 샘플링 레이트에서 1024‑포인트 STFT(75 % 오버랩)를 수행한다. 이후 80개의 멜 밴드(40 Hz–7600 Hz)로 변환하고 로그 스케일을 적용해 80 × 247 크기의 멜‑스펙트로그램을 얻는다. 이 스펙트로그램을 입력으로 하는 CNN은 128개의 5 × 1·8 × 1 필터, 64개의 5 × 3·80 × 3 필터, 32개의 5 × 5·80 × 5 필터를 포함한다. 배치 정규화와 ELU 활성화, 채널 차원 풀링, 50 % 드롭아웃을 거쳐 11‑클래스 소프트맥스 출력층으로 연결된다. 학습은 Adam 옵티마이저(learning rate = 0.001)와 배치 크기 50으로 진행했으며, 베이스라인 모델(원본 데이터만 사용)과 각 이펙트별 증강 모델을 별도로 학습시켰다. 평가에서는 원본 테스트 셋과, 동일 이펙트가 적용된 변형 테스트 셋 두 가지에 대해 정확도를 측정하였다. 실험 결과는 다음과 같다. 베이스라인 모델은 디스토션·포화·리버브·에코·플랜저·코러스·피치시프팅이 적용된 테스트 샘플에서 정확도가 20 % 이상 감소했지만, 해당 이펙트로 증강된 모델은 그 감소폭을 크게 줄였다. 특히 디스토션과 포화는 10 %~15 % 정도 정확도 회복을 보였고, 리버브와 에코는 12 % 정도 향상되었다. 피치시프팅 증강은 미세한 튜닝 변동에 대해 가장 높은 로버스트성을 제공했으며, 원본 피치 변동이 있는 경우에도 5 % 이상 정확도가 유지되었다. 이러한 결과는 데이터 증강이 단순히 데이터 양을 늘리는 것이 아니라, 실제 사용 환경에서 발생할 수 있는 다양한 음향 변형을 모델이 사전에 학습하도록 하는 효과적인 방법임을 입증한다. 또한, 무료 VST 플러그인을 활용한 증강 파이프라인이 재현 가능하고, 상업적 샘플 팩 데이터베이스에 바로 적용될 수 있음을 시사한다. 향후 연구에서는 다중 이펙트를 동시에 적용한 복합 증강, 그리고 실시간 스트리밍 환경에서의 적용 가능성을 탐구할 필요가 있다. **