구조·통계 음향 텍스처 지식 증류를 통한 환경음 분류 향상

초록

본 논문은 환경음 및 수동 소나 분류에서 저수준 음향 텍스처 정보를 간과하는 기존 지식 증류(KD) 방법의 한계를 극복하고자, 고수준 의미와 저수준 구조·통계 텍스처를 동시에 전달하는 SSA TKD 프레임워크를 제안한다. 교사 모델의 초기 층에서 추출한 텍스처를 학생 모델에 정렬시키는 두 개의 전용 모듈(Edge Detection Module, RBF‑기반 Statistical Texture Module)과 네 가지 손실(분류, 구조, 통계, 응답)로 구성한다. 네 개의 ESC 데이터셋(DeepShip, VTUAD, ESC‑50, TUT)과 다양한 CNN·Transformer 교사 모델을 대상으로 실험한 결과, 모든 설정에서 정확도가 일관되게 향상됨을 확인하였다.

상세 분석

SSA TKD는 기존 KD가 주로 최종 로짓(soft target)만을 이용해 교사‑학생 간 지식을 전달하는 점을 보완한다. 저수준 텍스처는 음향 신호의 미세한 주파수 변동, 조화 구조, 잡음 패턴 등을 포착하는데, 이는 특히 저신호대비(SNR) 낮은 환경음이나 수중 소음에서 중요한 구분 요소가 된다. 논문은 이러한 텍스처를 두 가지 차원에서 정량화한다. 첫째, 구조적 텍스처는 Laplacian Pyramid와 전통적인 에지 검출 필터를 결합한 Edge Detection Module을 통해 이미지‑유사한 스펙트로그램의 경계와 반복 패턴을 강조한다. 둘째, 통계적 텍스처는 기존 QCO 방식의 선형 구간화를 라디얼 베이시스 함수(RBF) 기반 양자화로 대체함으로써 구간 경계에서 발생하는 급격한 변화 없이 부드러운 확률 분포를 모델링한다. 이 과정에서 글로벌 평균 풀링을 이용해 채널별 평균 벡터를 구하고, 각 위치와의 코사인 유사도를 계산해 정규화된 유사도 맵을 만든 뒤, RBF를 적용해 N‑레벨 양자화된 텐서를 얻는다. 인접한 스펙트로그램 셀 간 외적을 취해 공분포 행렬을 생성하고, 이를 3‑차원 co‑occurrence 맵으로 집계한다.

손실 함수는 4가지 항의 가중합으로 정의된다. (L_{cls})는 학생의 최종 로짓과 실제 라벨 간 교차 엔트로피, (L_{struct})는 Edge Detection Module에서 추출한 에지 맵 간 L2 거리, (L_{stat})는 통계 텍스처 공분포 맵 간 KL‑다이버전스, (L_{dist})는 전통적인 응답 기반 KD(softmax 온도 스케일링)이다. 가중치 (\alpha_i)는 실험을 통해 최적화되며, 특히 저수준 텍스처 손실에 높은 비중을 두어 학생이 교사의 미세 패턴을 학습하도록 유도한다.

교사 모델 적응 전략으로는 (1) 교사 헤드만 재학습하는 classifier‑head‑only adaptation과 (2) 전체 교사 네트워크를 미세조정하는 full fine‑tuning을 비교하였다. 두 전략 모두 SSA TKD와 결합했을 때 성능 향상이 관찰됐지만, full fine‑tuning이 특히 복잡한 수중 데이터(VTUAD)에서 더 큰 이득을 제공했다.

실험에서는 CNN14, ResNet38, MobileNetV1 등 전통적인 CNN과 Wave2Vec 2.0, HuBERT, Whisper 등 최신 Transformer 기반 교사를 사용했으며, 학생 모델은 경량화된 HL‑TDNN을 고정하였다. 네 개의 데이터셋 모두에서 평균 정확도 3.2 %p 상승을 기록했으며, 특히 SNR이 낮은 DeepShip에서는 5 %p 이상의 개선을 보였다. Ablation study에서는 Edge Detection Module을 제외했을 때 통계 텍스처만 사용했을 때보다 1.8 %p, 통계 모듈을 제외했을 때보다 2.1 %p 정확도가 감소함을 확인해 두 모듈이 상보적으로 작용함을 입증했다.

이 프레임워크는 저수준 텍스처를 명시적으로 정량화하고 손실에 포함시킴으로써, 기존 KD가 놓치기 쉬운 지역적 패턴을 학생에게 전달한다는 점에서 혁신적이다. 다만, 양자화 레벨 N과 RBF 밴드위치 γ 같은 하이퍼파라미터가 데이터 특성에 민감하게 작용할 수 있어 자동 튜닝 메커니즘이 필요하고, 현재는 학생 모델을 HL‑TDNN에 고정했기 때문에 다른 경량 모델에 대한 일반화 검증이 추가로 요구된다.