다중시간해상도와 다중계층 특징을 활용한 환경음 분류

본 논문은 환경음(ESC) 및 오디오 장면(DCASE) 분류에서 기존 스펙트로그램 기반 CNN이 갖는 한계를 극복하고자, 원시 파형을 직접 입력으로 받는 다중시간해상도·다중계층 CNN 구조를 제안한다. 연구 배경으로는 환경음이 시간‑주파수 영역에서 다양한 스케일의 특징을 가지고 있으며, 단일 스케일·단일 레이어 특징만으로는 이러한 복합성을 충분히 표현하기 어렵다는 점을 들었다. 이를 해결하기 위해 저자는 두 가지 핵심 아이디어를 도입한다. 첫 번째는 서로 다른 필터 크기와 스트라이드를 가진 병렬 1‑D 컨볼루션 브랜치를 통해 저·중·고 주파수 대역을 동시에 학습하는 ‘멀티템포럴 해상도’이다. 구체적으로, 브랜치 I(필터 11, 스트라이드 1)는 고주파수의 미세 변화를, 브랜치 II(필터 51, 스트라이드 5)는 중간 대역, 브랜치 III(필터 101, 스트라이드 10)는 저주파수의 넓은 변동을 포착한다. 각 브랜치에 32개의 필터를 적용하고, 이후 3‑point 1‑D 컨볼루션(필터 3, 스트라이드 1)으로 위상 변동에 대한 불변성을 부여한다. 세 브랜치의 출력은 동일한 시간 차원(441)으로 맥스 풀링한 뒤 채널 차원에서 concat되어 하나의 멀티스케일 특징 맵을 만든다. 두 번째 아이디어는 DenseNet에서 영감을 얻은 ‘다중계층 직접 연결’이다. 멀티템포럴 특징 맵을 4개의 2‑D 컨볼루션 레이어(필터 수 64, 128, 256, 256; 커널 3×3; 스트라이드 1)로 순차 처리하면서 각 레이어마다 비중첩 맥스 풀링을 수행해 4×5 크기로 축소한다. 이후 마지막 N개의 레이어(1≤N≤4)의 출력들을 다시 concat하여 완전 연결층에 전달한다. 이렇게 하면 저수준의 지역 패턴부터 고수준의 추상 패턴까지 모두 활용할 수 있어, 모델의 표현력이 크게 향상되고 학습 과정에서 그래디언트 흐름이 원활해진다. 또한, 직접 연결은 파라미터 효율성을 유지하면서도 네트워크 깊이에 따른 성능 저하를 방지한다. 실험은 두 공개 데이터셋을 사용한다. ESC‑50은 50개의 환경음 클래스를 5‑fold 교차 검증으로 평가하며, 각 클립은 약 5 초 길이이다. DCASE 2017은 15개의 장면 클래스를 포함한 10 초 길이의 녹음 312개를 4‑fold 교차 검증으로 사용한다. 학습은 1.5 초 길이의 파형을 무작위로 추출해 배치 64로 진행하고, 교차 엔트로피 손실과 모멘텀 SGD(모멘텀 0.9)로 최적화한다. 학습률은 0.01→0.001→0.0001→0.00001 순으로 160 epoch에 걸쳐 감소시켰으며, L2 정규화(λ=5×10⁻⁴)를 적용하였다. 성능 비교 결과, 단일시간해상도 모델(각 브랜치만 사용) 대비 멀티시간해상도 모델은 ESC‑50에서 평균 정확도가 68.2 %~69.1 %에서 71.6 %로, DCASE 2017에서도 70.3 %~71.6 %에서 73.1 %로 각각 약 2‑3 %p 상승하였다(표 1). 다중계층 특징을 N=4까지 늘렸을 때는 ESC‑50에서 73.2 %→74.7 %로, DCASE 2017에서 73.1 %→74.7 %로 추가적인 향상이 관찰되었다(표 2). 이는 저수준 필터가 잡음에 강하고, 고수준 필터가 클래스 간 차이를 명확히 구분하는 상보적 효과를 확인시킨다. 시각화 분석에서는 각 브랜치가 학습한 필터가 주파수 응답 면에서 밴드패스 형태를 띠며, 브랜치 I는 넓은 대역을, 브랜치 III는 저주파수에 고해상도 밴드를 형성한다는 점을 보여준다. 이러한 결과는 멀티스케일 접근이 서로 다른 음향 현상을 효과적으로 포착한다는 직관을 뒷받침한다. 또한, 다중계층 직접 연결을 통해 얻은 특징 맵은 서로 다른 레이어의 정보를 보존하면서도 최종 분류기에 풍부한 표현을 제공한다. 결론적으로, 본 연구는 (1) 원시 파형 기반 멀티스케일 1‑D 컨볼루션, (2) DenseNet‑유사 다중계층 직접 연결, (3) 확장 가능한 아키텍처 설계라는 세 축을 통해 기존 스펙트로그램 기반 및 단일스케일 CNN보다 뛰어난 성능을 달성했으며, 파형‑투‑특징 파이프라인의 효율성과 일반화 가능성을 입증하였다. 향후 연구에서는 더 다양한 스트라이드·필터 조합, 데이터 증강 기법, 그리고 실시간 인퍼런스 최적화를 통해 실제 환경 인식 시스템에 적용하는 방안을 모색할 수 있다.