밀도 기반 가짜 카운트로 보정된 증거 심층 학습

초록

본 논문은 기존 증거 심층 학습(EDL)이 온도 파라미터에 의해 불확실성 추정이 왜곡되는 문제를 통계적 관점에서 규명하고, 조건부 라벨 분포와 주변 입력 밀도를 별도로 추정하는 새로운 파라미터화인 DIP‑EDL을 제안한다. DIP‑EDL은 고밀도 영역에서는 증거를 유지하고, 저밀도(Out‑of‑Distribution) 영역에서는 균일 사전으로 수축시켜 에피스틱·알레아틱 불확실성을 명확히 분리한다. 이론적으로는 점근적 집중을 증명하고, 실험에서는 OOD 검출, 캘리브레이션, 해석 가능성에서 기존 EDL을 크게 능가한다.

상세 분석

본 연구는 EDL을 두 가지 통계적 해석—계층 베이지안 모델에 대한 아모티즈드 변분 추론과 경험적 위험 최소화—에 매핑함으로써, 현재 EDL 손실이 실제로는 온도 파라미터 ν에 의해 조정된 의사‑우도(pseudo‑likelihood)를 최소화하는 변분 목표와 동등함을 증명한다. 이 과정에서 정규화 하이퍼파라미터 λ가 ν⁻¹와 동일함을 보이며, ν가 클수록 데이터 증거가 약해져 사전이 지배하게 되고, 반대로 ν가 작으면 데이터에 과도히 의존해 과신(over‑confidence) 현상이 발생한다는 근본적인 한계를 드러낸다. 특히, 증거의 진폭(vacuity)은 α₀+ν에 의해 결정되므로, 알레아틱 불확실성이 실제 데이터의 고유 잡음이 아니라 사용자가 설정한 온도에 의해 인위적으로 변한다는 비판을 제시한다.

이를 해결하기 위해 제안된 DIP‑EDL은 입력 x의 주변 밀도 q(x)를 별도 네트워크로 추정하고, 조건부 라벨 분포 p(y|x)와 독립적으로 Dirichlet 농도 α̂(x)=α+ν·p̂(y|x)·q(x)⁻¹ 형태로 결합한다. 고밀도 영역에서는 q(x)≈1이므로 기존 EDL과 동일한 증거를 유지하고, 저밀도 영역에서는 q(x)→0이 되어 α̂(x)→α가 되므로 예측이 균일 사전으로 수축한다. 이 설계는 베이지안 관점에서 “증거는 데이터가 충분히 관측된 영역에만 축적된다”는 직관과 일치한다.

이론적 분석에서는 (1) ν와 q(x)의 조합이 Dirichlet 파라미터의 스케일을 조절함을 보이고, (2) n→∞일 때 q̂(x)→q(x)와 p̂(y|x)→P*(y|x)라면 α̂(x)는 α+ν·P*(y|x)·q(x)⁻¹ 로 수렴한다는 점근적 집중 정리를 증명한다. 따라서 DIP‑EDL은 데이터가 충분히 풍부한 영역에서 일관된 불확실성 추정을 제공하고, OOD 상황에서는 자동으로 불확실성을 확대한다.

실험에서는 CIFAR‑10/100, ImageNet‑30 등에서 기존 EDL, MC‑Dropout, Deep Ensembles와 비교했으며, 특히 OOD 검출(AUROC), 기대 캘리브레이션 오류(ECE), 그리고 온도 스케일링 후의 Brier 스코어에서 현저히 우수한 성능을 기록했다. 시각화 결과는 고밀도 영역에서 예측 확률이 강하게 집중되는 반면, 저밀도 영역에서는 확률이 균일에 가까워지는 것을 보여, 제안 방법이 불확실성의 해석 가능성을 크게 향상시킴을 확인한다. 전체적으로, DIP‑EDL은 기존 EDL의 온도 의존성을 근본적으로 해소하고, 베이지안 이론과 실용적 구현을 동시에 만족시키는 강력한 프레임워크라 할 수 있다.