오디오와 시공간 정보의 적응형 증거 가중합

초록

FINCH는 사전 학습된 오디오 분류기와 시공간(위치·시계) 사전 모델을 결합하는 로그선형 융합 프레임워크이다. 입력마다 불확실성·정보량을 추정해 가중치 ω(x,s)를 조절하는 게이팅 네트워크를 학습함으로써, 컨텍스트가 유용할 때만 영향을 확대하고, 그렇지 않을 경우 오디오 전용 모델을 그대로 사용한다. ω는 0에서 ω_max(≤10) 사이로 제한돼 과도한 컨텍스트 의존을 방지한다. CBI와 BirdSet 벤치마크에서 고정 가중치 융합 및 오디오‑전용 기준을 지속적으로 능가하며, 특히 컨텍스트 품질이 변동적인 상황에서 강건성을 크게 향상시킨다.

상세 분석

FINCH는 조건부 독립 가정 x ⟂ s | y 에 기반한 로그선형 증거 결합을 구현한다. 기존의 로그선형 풀링이나 Product‑of‑Experts는 전역적인 가중치를 사용해 모든 샘플에 동일한 신뢰도를 부여하지만, 실제 데이터에서는 오디오와 시공간 메타데이터의 신뢰도가 크게 달라진다. 이를 해결하기 위해 논문은 두 단계의 핵심 설계를 제시한다. 첫째, ω(x,s) ≥ 0 인 샘플별 가중치를 학습한다. ω는 시그모이드 σ(g_ϕ(u(x,s)))에 스케일 ω_max을 곱한 형태이며, ω_max은