에피스테믹 불확실성 추정의 근본적 한계

초록

이 논문은 현재 널리 사용되는 2차 분포 기반 에피스테믹 불확실성 추정 방법이 두 가지 근본적인 문제 때문에 완전하지 않다고 주장한다. 첫째, 모델 편향이 알레아토릭 불확실성을 과대평가하고 에피스테믹 불확실성을 과소평가한다. 둘째, 기존 방법들은 에피스테믹 불확실성의 분산‑구성 요소를 부분적으로만 포착해 전체 변동성을 충분히 설명하지 못한다. 이를 위해 회귀 설정에서 편향‑분산 분해와 합성 Bregman 발산을 이용한 이론적 분석과 합성 데이터 실험을 제시한다.

상세 분석

논문은 에피스테믹 불확실성을 “두 번째 차원(두 번째 확률분포) 위에 정의된 불확실성”으로 모델링하는 기존 접근법을 비판한다. 이러한 접근은 베이지안 사후, 앙상블, 혹은 결정론적 에비덴셜 모델 등 다양한 방법을 포괄하지만, 모두 모델 파라미터 θ에 대한 분포 q(θ|x)를 추정하고 이를 평균화해 예측 분포 p̂(y|x)를 만든다. 저자는 먼저 불확실성의 근본 원천을 다섯 가지로 구분한다: (1) 근사 오류(모델이 진짜 함수 공간을 충분히 커버하지 못함), (2) 추정 편향(학습 과정에서 규제·초기화 등에 의해 발생), (3) 데이터 불확실성(관측 노이즈), (4) 절차적 불확실성(학습 순서·초기 가중치 등 랜덤 요인), (5) 분포 이동에 따른 분포 불확실성. 이 중 특히 편향과 근사 오류는 기존 2차 분포가 접근할 수 없는 “모델 불확실성”에 해당한다.

수식 (7)에서 저자는 일반화된 편향‑분산 분해를 제시한다. 여기서 첫 항은 본질적인 알레아토릭 불확실성(Hℓ(p(y|x)))이며, 두 번째 항은 진짜 조건부 분포와 평균 예측 분포 사이의 Bregman 발산으로 정의된 일반화된 편향이다. 이 편향은 다시 근사 오류와 추정 편향으로 나뉘며, 특히 신경망에서 L2·드롭아웃·배치 정규화와 같은 규제가 모델을 체계적으로 왜곡시켜 편향을 크게 만든다. 결과적으로 편향이 존재하면 알레아토릭 불확실성이 실제보다 크게 추정되고, 에피스테믹 불확실성(분산 항)은 억제된다.

다음으로 저자는 분산 항을 데이터 불확실성과 절차적 불확실성으로 다시 분해한다. 기존 방법들은 보통 예측 평균의 분산을 에피스테믹으로, 조건부 분산을 알레아토릭으로 구분하지만, 이는 데이터 불확실성과 절차적 불확실성을 동시에 포착하지 못한다. 예를 들어, 딥 앙상블은 서로 다른 초기화·학습 경로에 의해 발생하는 절차적 변동성만을 반영하고, 데이터 샘플링에 따른 변동성(데이터 불확실성)은 무시한다. 반대로 베이지안 MC‑드롭아웃은 데이터 샘플링을 모사하지만, 모델 구조 자체의 제한으로 인한 편향을 충분히 반영하지 못한다. 따라서 각 방법이 포착하는 분산의 부분집합이 다르며, 전체 에피스테믹 불확실성을 완전하게 설명하지 못한다는 것이 핵심 주장이다.

실험에서는 비선형 함수와 이질적 노이즈를 가진 합성 회귀 데이터를 사용해, 좌측 구간(복잡한 함수·낮은 노이즈)과 우측 구간(단순 함수·높은 노이즈)에서 알레아토릭·에피스테믹 불확실성이 어떻게 왜곡되는지를 시각화한다. 딥 앙상블은 편향이 큰 구간에서 알레아토릭을 과대 추정하고, 에피스테믹을 현저히 낮게 평가한다. 이는 논문의 이론적 분석과 일치한다.

결론적으로, 저자는 현재 널리 쓰이는 2차 분포 기반 에피스테믹 불확실성 추정이 (1) 모델 편향을 반영하지 못해 알레아토릭·에피스테믹을 서로 뒤섞고, (2) 분산의 전체 구성요소를 포괄하지 못해 불완전한 추정치를 제공한다는 두 가지 근본적 한계를 제시한다. 이러한 한계를 인식하고, 실제 안전·고위험 응용에서 불확실성 추정 결과를 해석할 때 반드시 제한점을 명시해야 한다고 주장한다.