활성도와 분산을 활용한 OOD 탐지 혁신 DAVIS

초록

본 논문은 기존 OOD 탐지 방법이 전역 평균 풀링(GAP)으로 인해 손실되는 채널별 최대값(지배 활성)과 분산 정보를 재활용하는 간단한 포스트헛 기법인 DAVIS를 제안한다. 평균 대신 지배 활성과 분산을 결합한 특징 벡터를 만든 뒤 기존 스코어링(에너지, MSP, ODIN 등)과 결합하면 ResNet, DenseNet, EfficientNet, MobileNet‑v2 등 다양한 아키텍처에서 FPR95를 최대 48%까지 감소시키는 성능 향상을 보인다.

상세 분석

DAVIS는 OOD 탐지에서 가장 흔히 사용되는 포스트헛 접근법의 근본적인 한계, 즉 전역 평균 풀링(GAP)이 활성 맵의 공간적 분포 정보를 소멸시킨다는 점을 정확히 짚어낸다. GAP은 각 채널의 평균값만을 남겨 모델이 학습 단계에서 필요로 하는 전역적인 특징을 제공하지만, OOD 샘플은 종종 특정 위치에서 비정상적으로 높은 활성값을 보이거나, 전체 채널의 활성 분포가 크게 변동한다는 특성을 가진다. 이러한 “피크”와 “분산” 정보는 평균값만으로는 포착되지 않는다.

논문은 두 가지 DAVIS 변형을 제시한다. 첫 번째는 채널별 최대값(m)만을 사용해 기존 GAP 벡터를 대체하는 DAVIS(m)이며, 두 번째는 평균값(µ)에 채널별 표준편차(σ)를 가중치 γ와 함께 더하는 DAVIS(µ,σ)이다. 두 방법 모두 기존 Fully‑Connected 레이어에 그대로 연결되므로 모델 구조를 변경하지 않는다. 또한, 이 특징 벡터는 Energy 스코어, MSP, ODIN 등 기존 OOD 스코어링과 자연스럽게 결합될 수 있다.

실험 결과는 매우 설득력 있다. CIFAR‑10/100에서 ResNet‑18, ResNet‑34, DenseNet‑101, MobileNet‑v2 등 네 가지 백본을 대상으로 6개의 OOD 데이터셋(Textures, SVHN, Places365, LSUN‑Crop, LSUN‑Resize, iSUN)을 사용했으며, DAVIS(m)+DICE 조합이 FPR95를 48.27%까지 감소시켰다. 특히, 채널별 최대값을 이용한 DAVIS(m)는 단독으로도 Energy 기반 베이스라인보다 낮은 FPR95와 높은 AUROC를 기록했다. ImageNet‑1k 수준에서도 DenseNet‑121, ResNet‑50, MobileNet‑v2, EfficientNet‑b0에 적용했을 때 평균 FPR95 감소율이 10% 이상이며, AUROC 역시 0.97 수준으로 기존 방법들을 앞섰다.

통계적 분석(부록 B)에서는 지배 활성과 분산이 ID와 OOD 사이의 스코어 분포 겹침을 현저히 줄이는 메커니즘을 정량화한다. 채널별 최대값은 OOD 샘플에서 평균보다 훨씬 큰 차이를 보이며, 표준편차는 활성의 불균형을 반영해 추가적인 구분력을 제공한다. 이러한 두 통계량을 결합하면 고차원 특징 공간에서 클래스 간 경계가 더 명확해져, 에너지 스코어와 같은 로그잇 기반 방법의 민감도가 크게 향상된다.

또한, DAVIS는 기존 포스트헛 기법들과 “플러그‑인” 방식으로 호환된다. ReAct, DICE, ASH, SCALE 등과 조합했을 때 성능이 겹치지 않고 상호 보완적으로 작용한다는 점은, DAVIS가 단순히 새로운 스코어링을 제시하는 것이 아니라 기존 파이프라인을 강화하는 보조 모듈임을 입증한다. 하이퍼파라미터 γ는 실험을 통해 0.1~0.5 범위에서 안정적으로 동작함을 보였으며, 이는 다양한 데이터셋과 모델에 대해 별도 튜닝 없이도 적용 가능함을 의미한다.

마지막으로, 계산 비용 측면에서도 GAP을 대체하거나 보강하는 정도이므로 추가적인 연산량이 미미하다. 채널당 최대값과 분산을 구하는 연산은 O(N·K²) (N: 채널 수, K: 공간 해상도) 수준이며, 현대 GPU에서는 거의 무시할 수 있는 수준이다. 따라서 실시간 시스템이나 리소스가 제한된 엣지 디바이스에서도 손쉽게 적용할 수 있다.

요약하면, DAVIS는 OOD 탐지에서 “평균만으로는 부족하다”는 직관을 정량적 통계와 실험을 통해 검증하고, 간단한 구현으로 기존 방법들을 크게 능가하는 성능을 달성한 혁신적인 포스트헛 접근법이다.