불확실성 기여도 평가, 하나의 지표로는 충분하지 않다

초록

본 논문은 예측 불확실성을 입력 특성에 귀속시키는 ‘불확실성 기여도’ 방법들을 체계적으로 평가하기 위해 XAI 분야의 Co‑12 프레임워크를 재구성한다. 정확성·일관성·연속성·압축성 네 가지 기존 속성을 구현하고, 불확실성 특성에 맞춘 새로운 ‘전달성(conveyance)’ 속성을 제안한다. 8개의 정량적 메트릭을 사용해 탭ular 데이터와 이미지 데이터에 대해 Monte‑Carlo Dropout, Monte‑Carlo DropConnect, Deep Ensembles 등 다양한 불확실성 추정기와 Gradient‑기반·Perturbation‑기반 특성 기여도 방법을 비교한다. 실험 결과 gradient‑기반 방법이 일관성과 전달성에서 우수하고, DropConnect가 Dropout보다 전반적으로 높은 점수를 받지만, 메트릭 간 상관성이 낮아 단일 지표만으로는 방법의 품질을 판단하기 어렵다는 결론을 도출한다.

상세 분석

이 논문은 불확실성 기여도(Uncertainty Attribution)라는 비교적 새로운 연구 영역에 대한 평가 체계를 제시한다는 점에서 의의가 크다. 기존 XAI 평가에서 널리 사용되는 Co‑12 프레임워크를 불확실성 설명에 맞게 재해석했으며, 특히 ‘전달성(conveyance)’이라는 새로운 속성을 도입했다. 전달성은 에피스테믹 불확실성을 인위적으로 증가시켰을 때, 해당 증가가 특성 수준의 기여도 점수에 일관되게 반영되는지를 측정한다. 이는 불확실성 추정 자체가 모델 내부의 확률적 변동을 포함하므로, 단순히 특성 기여도를 평가하는 기존 메트릭만으로는 포착하기 어려운 중요한 차원을 제공한다.

구현 측면에서 저자들은 정확성(Correctness), 일관성(Consistency), 연속성(Continuity), 압축성(Compactness) 네 가지 속성을 각각 정량화하였다. 정확성은 불확실성 기여도가 실제 불확실성 변동에 얼마나 부합하는지를, 일관성은 동일 입력에 대해 서로 다른 추정 방법(예: Dropout vs. DropConnect) 간 기여도 순위의 일치도를, 연속성은 입력에 작은 변화를 주었을 때 기여도 점수의 변동이 부드러운지를, 압축성은 기여도가 실제로 중요한 소수의 특성에 집중되는지를 평가한다.

실험 설계는 두 가지 데이터셋(와인 품질, MNIST)과 세 가지 불확실성 추정기(MCD, MCDC, Deep Ensembles)를 조합하고, 특성 기여도 방법으로는 Gradient‑기반(LRP, Integrated Gradients)과 Perturbation‑기반(Feature Flipping, Pixel Blur) 방식을 사용했다. 총 8개의 메트릭을 적용해 각 조합을 다각도로 평가했으며, 메트릭 간 상관관계를 분석하기 위해 Kendall’s τ와 Spearman’s ρ를 계산했다.

주요 결과는 다음과 같다. ① Gradient‑기반 방법이 일관성 및 전달성에서 Perturbation‑기반 방법을 일관적으로 앞섰다. 이는 기울기 정보를 직접 활용함으로써 불확실성 변동을 더 정확히 포착한다는 점을 시사한다. ② Monte‑Carlo DropConnect가 Dropout보다 대부분의 메트릭에서 높은 점수를 받았으며, 특히 압축성과 전달성에서 두드러졌다. 이는 DropConnect가 가중치 수준에서 무작위성을 도입해 보다 풍부한 불확실성 분포를 제공하기 때문이다. ③ 메트릭 간 상관성이 낮아(예: 정확성과 전달성 사이의 τ≈0.2) 단일 지표만으로 방법의 전반적 품질을 판단하기 어렵다. 이는 불확실성 기여도 평가가 다차원적 특성을 갖고 있음을 실증한다.

한계점으로는 (1) 현재 프레임워크가 에피스테믹 불확실성에만 초점을 맞추고 있어 알레아토릭 불확실성에 대한 평가가 부족하고, (2) 비선형·비보존형 기여도 방법(LIME, SHAP)에는 적용이 어려운 구조적 제약이 존재한다는 점을 언급한다. 또한, 인간 중심 평가가 포함되지 않아 실제 사용자 신뢰도와의 연계성은 추후 연구가 필요하다.

전반적으로 이 논문은 불확실성 기여도 평가에 대한 체계적 기준을 제시하고, 다중 메트릭 접근법이 필요함을 입증함으로써 XUQ 분야의 연구 방향을 제시한다.