딥 에비덴셜 회귀로 불확실성 추정

본 논문은 안전‑중요 분야에서 신경망의 불확실성 추정이 필수적인 문제를 다루며, 기존 베이즈 접근법이 갖는 샘플링 비용·가중치 사전 선택의 어려움을 극복하기 위해 ‘에비덴셜 딥러닝’ 개념을 회귀 문제에 적용한다. 먼저, 관측값 y가 평균 μ와 분산 σ²를 갖는 가우시안으로부터 생성된다고 가정하고, μ에 대해 정규분포 N(γ, σ²/υ), σ²에 대해 역감마분포 Γ⁻¹(α,β) 라는 두 사전분포를 설정한다. 이 두 사전의 결합은 Normal‑Inverse‑Gamma(NIG) 분포가 되며, NIG의 파라미터 (γ, υ, α, β)는 각각 가상 관측치의 평균·수량을 의미한다. 네트워크는 입력 x에 대해 이 네 파라미터를 직접 예측하도록 설계되며, 출력층은 4개의 뉴런으로 구성된다. υ, α, β는 softplus 활성화와 +1 보정을 통해 양수 제약을 만족시키고, γ는 선형 활성화를 사용한다. 학습 목표는 두 손실을 결합한 형태이다. 첫 번째 손실 L_NLL은 모델 증거를 최대화하는 것으로, NIG 사전과 가우시안 likelihood를 결합한 마진 가능도 p(y|m)를 Student‑t 분포 형태로 정리하고, 그 부정 로그를 최소화한다. 이는 관측값이 현재 추정된 에비덴셜 분포에 얼마나 잘 맞는지를 직접 측정한다. 두 번째 손실 L_R은 오류 기반 증거 정규화이다. 회귀에서는 라벨이 연속값이므로, 기존 분류에서 사용하던 zero‑evidence prior와 KL 발산을 직접 적용하기 어렵다. 대신, 예측 평균 γ와 실제 y 사이의 절대 오차 |y‑γ|에 총 증거 Φ=2υ+α를 곱한 형태로 손실을 정의한다. 이 손실은 예측이 정확할 때는 높은 증거를 유지하고, 큰 오차가 발생하면 증거를 억제해 에피스테믹 불확실성을 증가시킨다. 전체 손실은 L = L_NLL + λ·L_R 로, λ는 증거와 적합도 사이의 트레이드오프를 조절한다. λ=0이면 과신이 발생하고, λ가 너무 크면 과도한 불확실성으로 인해 학습이 불안정해진다. 불확실성 추정은 NIG의 기대값과 분산을 이용한다. 알레아토릭 불확실성은 E