CNN 기반 음향 장면 분류에서 사운드 텍스처 강화

본 논문은 CNN 기반 음향 장면 분류(Acoustic Scene Classification, ASC) 모델이 입력으로 사용하는 로그‑멜 스펙트로그램 이미지가 실제로 어떤 특성을 학습하는지를 시각화하고, 그 결과를 토대로 성능을 향상시키는 전처리 방법을 제안한다. 연구는 크게 네 단계로 진행된다. 1) **배경 및 동기** ASC는 10초 길이의 오디오를 1초 단위로 슬라이딩 윈도우(0.5초 겹침)하여 STFT를 수행하고, 128 차원의 로그‑멜 필터뱅크를 추출한다. 기존 DCASE 2017 ASC 챌린지에서는 CNN이 가장 높은 성능을 보였지만, 모델이 어떤 시간‑주파수 패턴에 주목하는지는 명확히 밝혀지지 않았다. 이미지 인식 분야에서 사용되는 Class Activation Mapping(CAM)과 그 확장인 Grad‑CAM을 활용해 CNN의 내부 작동을 시각화하고자 했다. 2) **CAM 기반 시각화** 두 종류의 CNN 구조를 설계하였다. 첫 번째는 전통적인 Fully Connected 레이어를 포함한 CNN‑FC이며, 두 번째는 Global Average Pooling(GAP) 레이어만을 사용해 파라미터 수를 줄인 CNN‑GAP이다. 두 모델 모두 3×3 컨볼루션과 Max‑Pooling을 여러 층 쌓은 뒤, 마지막 레이어에서 GAP(또는 FC)와 Softmax를 적용한다. 학습된 모델에 대해 Grad‑CAM을 적용해, 각 클래스(예: metro, residential, train)의 예측에 기여하는 시간‑주파수 영역을 시각화하였다. 결과는 고에너지 순간(새소리, 기차 경적 등)의 밝은 라인이 CAM에서 거의 무시되고, 대신 넓은 주파수 대역에 걸친 낮은 에너지 배경 텍스처가 강하게 활성화된다는 점을 보여준다. 이는 CNN이 개별 이벤트보다 지속적인 환경 소음에 더 의존한다는 가설을 뒷받침한다. 3) **텍스처 강조 전처리** CAM 분석 결과를 바탕으로 배경 텍스처를 보다 뚜렷하게 만들기 위해 두 가지 에지 강화 기법을 도입하였다. - **Difference of Gaussian(Dog)**: 표준편차 σ₁=1과 σ₂=√2인 가우시안 블러를 각각 적용한 뒤 차분하여 밴드패스 형태의 에지 맵을 만든다. 이는 고주파 노이즈와 균일 영역을 동시에 억제한다. - **Sobel 연산**: 3×3 Sobel 커널을 사용해 수평·수직 그래디언트를 계산하고, 그 크기(√(Gx²+Gy²))를 이미지로 변환한다. Sobel은 Dog보다 더 세밀한 경계 정보를 제공한다. 또한 기존 연구에서 사용된 Median 필터링(시간 51프레임, 주파수 7빈)과 비교하기 위해 동일한 데이터에 적용하였다. Median 필터링은 배경 드리프트를 제거하지만 연산 비용이 매우 높다. 4) **실험 및 결과** DCASE 2017 ASC 데이터셋을 사용해 3회 반복 실험을 수행하였다. 각 모델에 대해 원본 로그‑멜, Dog‑강화, Sobel‑강화, Median‑필터링된 4가지 입력을 사용했다. 주요 결과는 다음과 같다. - **CNN‑FC**: 원본 65.8% → Dog 72.0% (+6.2pp) → Sobel 70.1% (+4.3pp) → Median 75.7% (+9.9pp) - **CNN‑GAP**: 원본 68.1% → Dog 72.2% (+4.1pp) → Sobel 71.6% (+3.5pp) → Median 75.4% (+7.3pp) Dog와 Sobel 모두 Median보다 약간 낮은 정확도를 보였지만, 계산량은 크게 차이 난다. Dog는 단순한 가우시안 블러와 차분 연산만으로 구현 가능해 실시간 시스템에 적합하다. Sobel은 더 정교한 텍스처를 제공하지만 잡음에 민감하고 연산량이 약간 더 높다. Median 필터링은 최고 성능을 기록했지만, 51×7 윈도우의 중간값 계산은 CPU/GPU 자원을 많이 소모한다. 5) **논의 및 향후 과제** - **모델 해석**: CAM을 활용한 시각화는 음향 분야에서도 모델이 어떤 특징에 주목하는지 직관적으로 보여준다. 이는 모델 설계와 데이터 전처리 단계에서 중요한 피드백을 제공한다. - **텍스처 중심 접근**: 배경 텍스처를 강조함으로써 ASC 성능이 크게 향상된 점은, 기존에 “음향 이벤트” 중심의 접근과는 다른 새로운 패러다임을 제시한다. - **연산 효율성**: 실시간 혹은 임베디드 환경에서 Dog 기반 전처리는 높은 정확도와 낮은 연산 비용을 동시에 만족한다. - **확장 가능성**: 다중 스케일 DoG, 비선형 필터, 혹은 Transformer 기반 시퀀스 모델과 결합해 텍스처와 이벤트 정보를 동시에 활용하는 방안을 탐색할 수 있다. 결론적으로, 본 연구는 CNN이 음향 장면을 분류할 때 배경 텍스처에 크게 의존한다는 사실을 시각적으로 입증하고, 이미지 처리 기법인 Difference of Gaussian과 Sobel을 적용해 로그‑멜 스펙트로그램의 텍스처를 강화함으로써 기존 모델의 성능을 효과적으로 끌어올렸다. 이는 ASC 분야에서 전처리 단계의 중요성을 재조명하고, 향후 모델 설계와 데이터 증강 전략에 새로운 방향을 제시한다.