다채널 입력과 앙상블 기법을 활용한 실시간 음향 장면 분류 CNN 깊이 분석

본 논문은 “Ensemble Methods and Input Alternatives for Acoustic Scene Classification Using Convolutional Neural Networks”라는 제목으로, 2020년 URSI 학회에 발표된 연구를 상세히 분석한다. 연구 배경은 최근 몇 년간 딥러닝, 특히 CNN과 RNN이 음향 장면 분류(ASC) 분야에서 주도적인 역할을 하고 있음에도 불구하고, 어떤 시간‑주파수 표현이 가장 효과적인지는 아직 명확히 규명되지 않았다는 점에 있다. 이를 해결하고자 저자들은 두 가지 주요 연구 질문을 제시한다. 첫 번째는 로그‑멜 스펙트로그램의 다양한 채널 구성을 통해 입력 특성을 최적화하는 것이며, 두 번째는 여러 CNN 모델을 어떻게 효율적으로 결합해 정확도를 높일 수 있는가이다. **1. 데이터 및 전처리** 실험에 사용된 데이터는 DCASE 2019 Task 1 (태스크 1) 데이터셋으로, 12개 도시의 10초 길이 녹음 파일을 포함한다. 개발(Dev) 셋은 10개 ‘seen’ 도시, 평가(Eval) 셋은 이와 동일한 10개 도시와 2개 ‘unseen’ 도시로 구성된다. 전처리 단계에서는 64‑band 로그‑멜 스펙트로그램을 40 ms 윈도우, 50 % 오버랩, Hamming 비대칭 윈도우, 2048‑point FFT를 사용해 생성한다. 이후 각 멜 밴드별 평균·표준편차 정규화를 적용한다. 추가적으로 HPSS(Harmonic‑Percussive Source Separation) 알고리즘을 이용해 하모닉(H)과 퍼커시브(P) 스펙트로그램을 추출한다. 최종 입력 크기는 64 × 500(시간)이며, 다양한 채널 조합을 아래와 같이 정의한다. - M: Mono (좌·우 채널 평균) - L: Left 채널 - R: Right 채널 - D: 차이(L‑R) - H: 하모닉 (Mono 기반) - P: 퍼커시브 (Mono 기반) 이들을 조합해 총 6가지 입력 형태(예: L + R + D, H + P + D 등)를 만든다. **2. 네트워크 설계** 네트워크는 VGG‑스타일 3‑블록 구조를 차용한다. 각 블록은 3×3 컨볼루션 → 배치 정규화 → ELU 활성화 → 또 하나의 동일 구조 → 2×2 맥스 풀링 → 드롭아웃(0.3) 순으로 구성된다. 마지막에는 플래튼 후 전결합(Dense) 레이어 2개(100, 10)를 두고, 소프트맥스로 10개 클래스 확률을 출력한다. 첫 번째 컨볼루션 블록의 필터 수를 16, 32, 64로 변형해 Vfy‑3L16, Vfy‑3L32, Vfy‑3L64 모델을 만든다. 파라미터 수는 각각 약 0.18 M, 0.5 M, 1.56 M이며, 이는 엣지 디바이스에서 실시간 추론을 고려한 설계이다. **3. 학습 설정** Adam 옵티마이저(β1=0.9, β2=0.999, ε=1e‑8)를 사용하고, 초기 학습률 0.001을 50 epoch마다 0.5배 감소시킨다. 최대 2000 epoch, 배치 크기 32, 조기 종료(Early‑stop) 기준은 100 epoch 연속 검증 정확도 향상 없을 경우이다. **4. 앙상블 방법** 세 모델(Vfy‑3L16, Vfy‑3L32, Vfy‑3L64)의 출력 확률을 결합하는 세 가지 연산자를 실험했다. - 산술 평균 (Arithmetic Mean): 각 모델 확률을 단순 평균 후 argmax. - 기하 평균 (Geometric Mean): 확률의 곱을 M번째 루트(여기서는 3제곱근) 후 argmax. - Ordered Weighted Averaging (OWA): 확률을 내림차순 정렬 후 사전 정의된 가중치