소프트맥스 대신 정규누적분포와 시그모이드로 구현하는 무샘플 가우시안 불확실성 추정

초록

본 논문은 로짓 공간에 대한 가우시안 분포를 출력하는 기존 불확실성 추정 방법들의 핵심 문제인 소프트맥스‑가우시안 적분의 비해석성을 해결한다. 소프트맥스를 정규누적분포(CDF) 혹은 시그모이드 함수로 교체함으로써 샘플링 없이 정확한 예측 확률을 얻고, 이를 디리클레 분포와 순간 매칭으로 근사한다. 제안 방법은 라플라스, HET, SNGP 등 다양한 가우시안 추론 기법과 결합해 대규모 이미지넷까지 적용했으며, Monte‑Carlo 기반 소프트맥스 대비 불확실성 정량화가 크게 향상됨을 실험적으로 입증한다.

상세 분석

이 논문은 “소프트맥스‑가우시안 적분”이라는 근본적인 병목을 정확히 짚어낸다. 기존의 근사 가우시안 추론(Laplace, HET, SNGP 등)은 로짓에 대한 평균과 공분산을 제공하지만, 최종 확률을 얻기 위해서는 소프트맥스 함수를 통해 비선형 변환을 해야 한다. 이 변환 뒤의 가우시안 적분은 닫힌 형태가 없으며, 따라서 Monte‑Carlo(MC) 샘플링에 의존하게 된다. MC는 클래스 수 C에 비례해 연산·메모리 비용이 급증하고, 샘플 수가 제한될 경우 노이즈가 커져 불확실성 추정이 부정확해진다.

저자들은 이 문제를 “출력 활성화 함수 자체를 바꾸는” 전략으로 해결한다. 구체적으로, 요소별로 정규누적분포 함수 Φ(·) 혹은 로지스틱 시그모이드 ρ(·)를 적용하고, 그 뒤에 정규화 연산 n(q)=q/∑q 를 수행한다. Φ와 ρ는 각각 정규분포와 로짓 가우시안의 1차 적분에 대해 닫힌 형태(Φ(μ/√(1+σ²)), ρ(μ/√(1+πσ²/8)))를 제공한다. 이는 “probit approximation”을 다변량으로 확장한 것으로, 각 클래스별 로짓 평균 μ_c와 분산 σ_c²만 알면 바로 예측 확률을 계산할 수 있다.

수학적으로는 다음과 같은 3단계 레시피를 제시한다.
1️⃣ 가우시안 추론 방법을 선택해 로짓 평균·공분산을 얻는다.
2️⃣ 위에서 정의한 Φ·ρ·n 조합을 활성화 함수로 채택한다.
3️⃣ 추론 시에는 논문에서 제시한 닫힌식(예: Φ(μ_c/√(1+σ_c²)))을 사용해 확률을 직접 계산한다.

이때 중요한 점은 “정규화 단계”가 비선형이지만, 분자와 분모를 각각 독립적으로 기대값을 구한 뒤 비율을 취함으로써 근사 오차를 제어한다. 저자들은 이 근사의 품질을 두 가지 관점에서 검증한다. 첫째, 합성 데이터(μ,σ를 균등히 샘플링)에서 KL 발산을 측정해 기존 소프트맥스‑MC, Mean‑Field 등보다 낮은 값을 보였다. 둘째, 이론적 분석을 통해 KL 오차가 클래스 수 C에 독립적이며, 분산이 작아질수록 O(Var