공유 인코더 기반 참조‑가이드 타깃 사운드 탐지

초록

본 논문은 참조 음성과 혼합 음성을 동일한 ConvNeXt 인코더로 처리해 공유 표현 공간을 학습함으로써, 기존 이중‑브랜치 구조의 복잡성을 낮추고 정렬 효율을 높였다. 요소‑곱, FiLM, 교차‑어텐션 등 다양한 융합 방식을 비교한 결과, 교차‑어텐션이 가장 높은 F1(86.06%)을 기록했다. 다중 과제 손실(클립‑레벨 분류 + 프레임‑레벨 검출)로 학습한 모델은 URBAN‑SED에서 83.15%의 세그먼트‑F1와 95.17% 정확도를 달성했으며, AudioSet‑Strong에서도 76.62%의 F1를 유지해 뛰어난 일반화 능력을 보였다.

상세 분석

이 연구는 타깃 사운드 탐지(TSD) 문제를 ‘공유 인코더’라는 새로운 설계 패러다임으로 접근한다. 기존 TSDNet과 같은 이중‑브랜치 모델은 참조와 혼합을 별도 네트워크로 인코딩한 뒤, 조건부 임베딩을 결합하는 방식이다. 이러한 구조는 파라미터가 많고, 두 네트워크 간 표현 정렬이 어려워 일반화에 한계가 있었다. 저자들은 ConvNeXt‑Base를 AudioSet‑2M 사전학습된 가중치로 초기화하고, 동일한 인코더를 참조와 혼합 모두에 적용한다. 이렇게 하면 두 입력이 동일한 특성 공간에 매핑돼, 후속 융합 단계에서 보다 직관적인 연산(예: 요소‑곱)이나 복잡한 어텐션 메커니즘을 적용할 수 있다.

인코더 출력은 혼합에 대해 시계열 텐서 Hₘ∈ℝ^{T×F}, 참조에 대해서는 전역 임베딩 h_ref∈ℝ^{1×F}를 만든다. h_ref를 시간축에 복제해 H_ref∈ℝ^{T×F}와 맞춘 뒤, 각각 1‑D 컨볼루션으로 차원을 F′(3072)로 변환한다. 여기서 제안된 융합 방식은 세 가지다. 1) 요소‑곱은 가장 간단하면서도 83.15%의 세그먼트‑F1를 달성한다. 2) FiLM은 조건부 스케일·시프트를 적용해 83.18%로 미세하게 개선한다. 3) 교차‑어텐션은 참조와 혼합 간 내용‑적응적인 정렬을 수행해 86.06%라는 최고 성능을 얻는다.

손실 함수는 두 부분으로 구성된다. 클립‑레벨 분류 손실 L_CE는 참조 임베딩을 이용해 전체 믹스에 포함된 타깃 클래스 여부를 예측하고, 프레임‑레벨 검출 손실 L_SED는 바이너리 교차 엔트로피로 각 프레임의 존재 여부를 학습한다. 두 손실을 단순 합산(L_total)함으로써, 모델은 전역적인 클래스 인식과 세밀한 시간적 경계 탐지를 동시에 최적화한다.

실험에서는 URBAN‑SED와 UrbanSound8K를 이용해 ‘Strong’와 ‘Strong+’ 두 벤치마크를 구성했다. ‘Strong+’는 참조 클래스가 믹스에 존재하지 않는 음성도 포함해 현실적인 쿼리 상황을 모사한다. 제안 모델은 ‘Strong’ 설정에서 83.15% F1와 95.17% 정확도를 기록했으며, 기존 최고 성능인 TSDNet(76.3% F1) 대비 약 7% 절대 향상을 보였다. 클래스별 분석에서는 Car Horn, Dog Bark, Gunshot 등 짧고 스펙트럼이 겹치는 이벤트에서 특히 큰 개선이 나타났다.

일반화 평가로는 AudioSet‑Strong(실제 유튜브 녹음)에서 사전 학습된 모델을 그대로 적용했을 때 76.62% F1를 달성했다. 이는 사전 학습된 ConvNeXt가 풍부한 음향 지식을 제공하고, 공유 인코더 설계가 도메인 간 표현 차이를 완화한다는 것을 의미한다. 또한, 7개의 클래스만 사용해 학습하고 10개 전체를 테스트했을 때도 73.47% F1와 91.06% 정확도를 유지해 미지 클래스에 대한 강인함을 확인했다.

아키텍처 비교 실험에서는 ConvNeXt와 기존 CNN14 백본 모두에서 ‘통합(unified)’ 설계가 ‘이중‑브랜치’ 설계보다 일관되게 높은 성능을 보였다. 이는 공유 표현 학습이 파라미터 효율성뿐 아니라 정렬 품질에서도 우수함을 입증한다.

마지막으로, 부정적인 참조(클래스 부재) 샘플을 포함한 ‘Strong+’ 훈련에서는 F1가 78.94%로 다소 감소했지만, 이는 실제 서비스에서 필수적인 ‘참조 부재 검출’ 능력을 요구한다는 점에서 의미 있는 결과다. 향후 대비 학습(contrastive learning)이나 하드 네거티브 마이닝을 도입하면 이 격차를 줄일 수 있을 것으로 기대된다.

전반적으로, 이 논문은 TSD 분야에서 복잡한 이중‑브랜치 구조를 단일 공유 인코더로 대체함으로써 모델 단순화, 파라미터 절감, 그리고 뛰어난 일반화 성능을 동시에 달성한 중요한 진전을 제시한다.