분산게이트 앙상블로 불확실성 추정 혁신

초록

본 논문은 앙상블 모델의 예측 분산을 이용해 에피스테믹(모델) 불확실성을 정량화하는 ‘분산게이트 앙상블(VGE)’ 프레임워크를 제안한다. VGE는 신호‑대‑잡음 비율을 기반으로 한 게이트 함수를 통해 각 클래스별 예측을 가중하고, 이를 이용해 ‘분산게이트 마진 불확실성(VGMU)’ 점수와 학습 가능한 ‘분산게이트 정규화(VGN)’ 레이어를 설계한다. 제안 방법은 기존의 쌍별 발산 측정(EPKL 등)보다 O(M·C) 복잡도로 실시간 적용이 가능하면서, 실험에서 최신 정보‑이론 기반 베이스라인을 능가한다.

상세 분석

본 연구는 기존 베이지안 앙상블이 제공하는 예측 분포를 그대로 활용하는 대신, 앙상블 멤버들의 평균 (\bar p)와 표준편차 (s)를 이용해 클래스별 신호‑대‑잡음 비율 (SNR=\bar p/(k s))을 정의한다. 여기서 (k)는 학습 가능한 스케일 파라미터이며, 이를 이용해 지수형 게이트 (\Gamma = 1 - e^{-,\bar p/(k s)})를 도입한다. (\Gamma)는 평균 신뢰도가 높고 분산이 낮은 클래스에 대해 값이 1에 가깝게 상승하고, 불확실하거나 분산이 큰 클래스에 대해서는 0에 가까워져 예측을 억제한다. 논문은 (\Gamma)에 대한 편미분을 통해 (\partial\Gamma/\partial\bar p>0)와 (\partial\Gamma/\partial s<0)임을 증명하고, 이는 게이트가 평균 신뢰도에선 양의 민감도, 분산에선 음의 민감도를 갖는다는 직관을 수학적으로 뒷받침한다. 또한 (k)에 대한 편미분 (\partial\Gamma/\partial k<0)를 제시해, (k)가 클수록 게이트가 전반적으로 낮아져 억제 효과가 강화됨을 확인한다. 이러한 특성은 기존의 엔트로피 기반 에피스테믹 측정이 제한된 샘플 수와 포스터리어 불일치에서 불안정해지는 문제를 완화한다.

VGMU는 상위 두 클래스의 마진 (\Delta = p_{(1)} - p_{(2)})에 (\Gamma)를 곱해 (\text{VGMU}= \Gamma_{(1)}\Delta) 형태로 정의한다. 여기서 (\Gamma_{(1)})는 최고 클래스에 대한 게이트 값이며, 마진 자체가 작을 때와 분산이 클 때 모두 VGMU가 낮아져 불확실성을 효과적으로 포착한다. 이는 기존 BvSB(Best‑vs‑Second‑Best) 점수에 에피스테믹 정보를 직접 결합한 형태라 할 수 있다.

학습 단계에서는 VGN 레이어를 도입한다. 각 멤버 확률 (p_m)에 (\Gamma)를 원소별 곱한 뒤 정규화 상수 (Z_m)로 다시 확률 simplex에 투사한다. 이 과정은 미분 가능하며, 저자들은 평균과 분산에 대한 벡터‑자코비안 곱(VJP) 식을 도출해 자동 미분 프레임워크에서 효율적으로 역전파할 수 있음을 보였다. VGN은 클래스별 (k_c)를 학습함으로써, 데이터와 모델에 따라 에피스테믹 억제 강도를 자동 조정한다. 결과적으로 훈련 중에 불확실성이 높은 예측을 억제하고, 모델이 더 다양하고 견고한 앙상블을 형성하도록 유도한다.

복잡도 측면에서 VGE는 평균·분산 계산과 게이트 적용만으로 O(M·C) 연산을 요구한다. 반면, 최근 제안된 EPCL/EPKL은 모든 멤버 쌍에 대한 KL 발산을 계산해 O(M²·C) 비용이 든다. 따라서 VGE는 대규모 앙상블이나 실시간 시스템에 적합하다. 실험에서는 CIFAR‑10/100, ImageNet‑subsample, 그리고 OOD 데이터셋을 대상으로 정확도, 기대‑칼리브레이션 오류(ECE), AUROC 기반 OOD 탐지 성능을 평가했으며, VGE가 기존 Deep Ensembles, MC‑Dropout, 그리고 EPKL 대비 전반적으로 우수하거나 동등한 결과를 보였다. 특히 VGMU는 마진 기반 불확실성 측정에서 가장 높은 OOD 탐지 AUROC를 기록했다.

한계점으로는 (\Gamma)가 평균·분산 비율에만 의존하므로, 복잡한 다중모달 분포를 완전히 포착하기는 어렵다. 또한 (k) 파라미터를 학습할 경우 과적합 위험이 존재하며, 이를 방지하기 위한 정규화 전략이 추가로 필요할 수 있다. 그럼에도 불구하고, VGE는 이론적 근거와 실험적 검증을 통해 기존 엔트로피 기반 방법의 약점을 보완하고, 효율적인 에피스테믹‑감도 불확실성 추정 방법으로서 의미 있는 기여를 한다.