시맨틱 지배를 깨고 잔여 공간으로 일반화된 OOD 탐지

초록

본 논문은 현재 최고 성능을 보이는 피처 기반 OOD 탐지 모델이 의미적으로 복잡한 OOD는 잘 구분하지만, 구조적으로 단순하거나 고주파 노이즈가 섞인 샘플을 놓치는 ‘단순성 역설(Simplicity Paradox)’을 발견한다. 이는 신경 붕괴(Neural Collapse) 현상으로 인해 특징 공간이 주성분에 과도하게 집중되는 ‘시맨틱 헤게모니’를 초래하기 때문이다. 저자들은 이를 해소하기 위해 주성분과 잔여 성분을 정교히 분리하고, 두 공간을 동시에 보정하는 비학습형 D‑KNN 프레임워크를 제안한다. 실험 결과, CIFAR‑10/100과 ImageNet에서 FPR95를 31.3%→2.3%로, AUROC를 79.7%→94.9%로 크게 향상시켰다.

상세 분석

논문은 먼저 기존 포스트‑hoc OOD 탐지 기법이 ‘시맨틱 지배’를 경험한다는 점을 실증한다. 신경 붕괴 현상에 따르면 학습 말기 딥 네트워크의 피처는 클래스 평균이 이루는 저차원 단순체(Simplex Equiangular Tight Frame) 공간에 거의 전부 압축되고, 잔여 차원은 거의 무시된다. 이때 피처의 스펙트럼은 급격히 감소하는 고유값을 보이며, 주성분의 에너지 비율 ρ가 무한대로 치솟는다. 결과적으로 Euclidean 거리 기반 KNN이나 Mahalanobis와 같은 전통적 거리 측정은 주성분에 의해 지배되어, 구조적 변형이 잔여 차원에만 존재하는 OOD 샘플을 ‘기하학적 블라인드 스팟’에 빠뜨린다. 저자들은 이를 ‘단순성 역설’이라 명명하고, 특히 MNIST·EMNIST와 같은 단순 이미지, 고주파 가우시안 노이즈 등에서 심각한 오탐을 보임을 실험으로 확인한다.

해결책으로 제안된 D‑KNN은 두 단계로 구성된다. 첫째, 전체 피처를 L2 정규화한 뒤 PCA를 수행해 주성분 공간 V와 잔여 공간 I=I−VVᵀ를 얻는다. 둘째, 각 테스트 샘플을 두 개의 독립적인 뷰(z_prin, z_res)로 투사하고, 각각에 대해 k‑NN 거리 스코어를 계산한다. 여기서 중요한 점은 잔여 스코어가 매우 작은 분산 σ_r을 갖게 되므로, Z‑score 보정을 통해 미세한 구조적 이상도 크게 부각시킨다. 최종 스코어는 α·s̃_prin+(1−α)·s̃_res 형태로 가중합한다. 이 과정은 전혀 추가 학습을 필요로 하지 않으며, 기존 모델에 바로 적용할 수 있다.

이론적으로는 ‘Asymptotic Risk Vanishing’ 정리를 제시한다. 신경 붕괴가 완전에 가까워질수록 (σ_in→0) ID와 OOD 사이의 평균 스코어 차이가 무한히 커지며, Chebyshev 부등식을 이용해 오류율이 0에 수렴함을 증명한다. 실험에서는 WRN‑28‑10, ResNet‑50 등 다양한 백본에 대해 CIFAR‑10/100, ImageNet‑O, iNaturalist, NIN‑CO 등 20여 개 OOD 데이터셋을 평가했다. 특히 ‘단순성 역설’ 테스트인 MNIST/EMNIST에서 FPR95를 31.3%→2.3%로, 고주파 노이즈( CIFAR‑100‑C )에서는 AUROC를 79.7%→94.9%로 크게 개선하였다. 또한 기존 방법 대비 파라미터·연산량이 거의 증가하지 않아 실시간 시스템에 적합함을 강조한다.

전체적으로 본 연구는 피처 공간의 스펙트럼 편향을 정량화하고, 이를 보정하는 간단하면서도 강력한 비학습형 기법을 제시함으로써 OOD 탐지의 일반화 한계를 크게 확장하였다.