적응형 프로토타입 매니폴드로 보는 OOD 탐지 혁신

초록

본 논문은 기존 프로토타입 기반 OOD 탐지 방법이 고정된 프로토타입 수와 학습‑추론 간 정보 손실이라는 두 근본적 결함을 가지고 있음을 지적한다. 이를 해결하기 위해 클래스별 최적 프로토타입 개수를 MDL 원칙과 BIC로 자동 결정하는 Adaptive Prototype Manifold(APM)과, 학습 단계에서 얻은 프로토타입 품질(응집·분리)을 OOD 스코어에 반영하는 Posterior‑Aware OOD Scoring(PAOS)을 제안한다. CIFAR‑100 등 벤치마크 실험에서 기존 최첨단 방법들을 크게 앞선 성능을 기록한다.

상세 분석

본 연구는 프로토타입 기반 표현 학습이 OOD 탐지에 유리함을 인정하면서도, 두 가지 구조적 한계가 존재함을 실험적·시각적으로 입증한다. 첫 번째 한계인 ‘Static Homogeneity Assumption’은 모든 클래스에 동일한 수와 동일한 중요도의 프로토타입을 할당함으로써, 시각적 복잡도가 서로 다른 클래스 간에 프로토타입 충돌이 발생하게 만든다. 예를 들어, ‘표범’과 ‘호랑이’와 같이 유사하지만 미세한 차이를 가진 클래스가 동일한 프로토타입 수(K=6)로 학습될 경우, 일부 프로토타입이 서로 겹쳐서 구분이 어려워지는 현상이 관찰된다. 이는 클래스별 표현 용량을 고정함으로써 발생하는 구조적 붕괴이며, OOD 샘플을 구분하는 거리 기반 메커니즘의 근본을 약화시킨다.

두 번째 한계인 ‘Learning‑Inference Disconnect’는 학습 단계에서 모델이 프로토타입 간 거리, 할당 확률, 프로토타입 품질 등 풍부한 후방 정보를 축적하지만, 추론 시에는 단순히 소프트맥스 확률이나 에너지 스코어와 같은 저차원 지표만을 사용한다는 점이다. 이 정보 손실은 이론적 상한을 낮추고, 특히 프로토타입 충돌이 발생한 영역에서 OOD 판단 정확도를 크게 저하시킨다.

APEX는 이러한 두 문제를 각각 ‘Adaptive Prototype Manifold(APM)’과 ‘Posterior‑Aware OOD Scoring(PAOS)’라는 두 단계의 수리적 수리공정으로 해결한다. APM은 사전 학습된 DINOv2 백본으로 각 클래스의 특징 벡터를 추출한 뒤, 가우시안 혼합 모델(GMM)을 다양한 군집 수(k’)에 대해 피팅하고 BIC(베이즈 정보 기준)를 최소화하는 k를 최적 프로토타입 수 K_c 로 선정한다. 이는 Minimum Description Length 원칙에 기반한 데이터‑주도적 복잡도 조정이며, 클래스별 복잡도에 맞는 프로토타입 수를 자동으로 할당한다.

학습 단계에서는 각 클래스별 K*_c 개의 프로토타입을 중심으로 von Mises‑Fisher(vMF) 혼합 모델을 구성한다. 샘플 z_i와 프로토타입 p_cj 사이의 소프트 할당 w_cij는 엔트로피 정규화 최적 수송(Sinkhorn‑Knopp) 알고리즘을 통해 계산되며, 이는 할당의 부드러움과 확률적 해석 가능성을 동시에 제공한다. 손실 함수는 (1) 최대우도 추정 손실 L_MLE, (2) 프로토타입 간 유사성을 조절하는 Prototype Contrastive Loss L_PC 를 가중합한 L_Train = L_MLE + λ·L_PC 로 정의된다. L_MLE은 클래스 조건부 확률 p(z|y) 를 직접 최대화함으로써 모델이 학습 목표와 일치하도록 하고, L_PC는 같은 클래스 내 프로토타입을 서로 가깝게, 다른 클래스와는 멀게 배치하도록 유도한다.

PAOS는 학습 중에 얻은 두 가지 품질 지표, 즉 ‘Cohesion Score(Q_C)’와 ‘Separation Score(Q_S)’를 각각 프로토타입이 자기 클래스 내 샘플과 얼마나 일치하는지, 그리고 다른 클래스 프로토타입과 얼마나 구분되는지를 측정한다. Q = Q_C + Q_S 로 결합된 품질 점수는 에너지 E_q = –Q 로 변환되고, Gibbs 분포 p_c(k) ∝ exp(Q/τ_q) 로 정규화된다. 클래스 전체 신뢰도 C_onf(c)는 해당 클래스의 파티션 함수 Z_c에 대한 자유 에너지의 부호 반전으로 정의되며, 이는 로그합 형태인 τ_q·log Σ_k exp(Q(p_ck)/τ_q) 로 계산된다.

추론 시에는 전통적인 Mahalanobis 거리에 C_onf(c) 를 가중치 α 로 곱해 보정한다. 즉, S_PAOS(h) = min_c { (h–μ_c)^T Σ^{-1} (h–μ_c) / (1 + α·C_onf(c)) }. 신뢰도가 높은 클래스는 거리값이 감소해 해당 클래스에 더 강하게 끌리게 되며, 이는 학습 단계에서 축적된 프로토타입 품질 정보를 직접 활용하는 메커니즘이다.

실험에서는 CIFAR‑100을 ID 데이터로, iSUN, SVHN, Texture 등 다양한 OOD 데이터셋을 사용해 AUROC, AUPR, FPR95 등 표준 지표를 평가하였다. APEX는 기존 프로토타입 기반 방법(PALM, CIDER 등) 및 최신 거리‑기반 방법(SSD, Energy 등)을 모두 능가했으며, 특히 프로토타입 충돌이 빈번했던 클래스에서 오류율 감소가 두드러졌다. Ablation study는 APM과 PAOS 각각이 독립적으로 성능 향상에 기여함을 확인하고, BIC 기반 K*_c 선택이 고정 K 대비 평균 3.2% 이상의 AUROC 개선을 가져옴을 보고한다.

요약하면, APEX는 (1) 데이터‑주도적 클래스별 프로토타입 복잡도 조정으로 구조적 붕괴를 방지하고, (2) 학습 단계에서 얻은 풍부한 프로토타입 품질 정보를 추론에 직접 반영함으로써 학습‑추론 간 불일치를 해소한다. 이 두 혁신은 OOD 탐지의 이론적 한계를 실질적으로 확장시키며, 향후 프로토타입 기반 모델의 설계에 새로운 패러다임을 제시한다.