불확실성 품질 평가: 베이지안 신경망의 새로운 샘플링 기법

본 논문은 딥러닝 모델이 제공하는 불확실성 정보의 품질을 정량적으로 평가하기 위해 새로운 실험 프레임워크를 제시한다. 전통적인 최대우도(ML) 학습 방식은 점 추정만을 제공해 과신(over‑confidence) 문제를 야기한다. 반면 베이지안 접근법은 사후 분포를 통해 예측 불확실성을 추정하지만, 계산 비용이 높아 실용성이 떨어진다. 이러한 배경에서 저자들은 두 가지 주요 기여를 한다. 첫째, 모델이 출력하는 확률 분포의 엔트로피와 그 변동성을 특징으로 사용해 선형 이상 탐지기를 학습시키고, 그 ROC‑AUC를 ‘불확실성 품질’의 지표로 정의한다. 이 방법은 In‑class(훈련에 사용된 클래스)와 Out‑class(훈련에서 제외된 클래스)를 구분하는 능력을 직접 측정함으로써, 모델이 미지의 데이터에 대해 얼마나 높은 불확실성을 나타내는지를 평가한다. 둘째, 기존 변분 베이지안 신경망(Variational Bayesian Neural Network, VBNN)의 샘플링 방식을 10배 가속화한 One‑Sample Bayesian Approximation(OSBA)를 제안한다. Blundell 등(2015)의 VBNN에서는 각 훈련 샘플마다 가중치 매트릭스를 새로 샘플링하지만, OSBA는 미니배치당 하나의 가중치 샘플만을 사용한다. 이로 인해 기대 그래디언트는 동일하게 유지되면서 분산이 증가하지만, 실험에서는 성능 저하가 거의 없으며 연산 속도가 크게 개선된다. 실험은 MNIST와 CIFAR‑10 두 데이터셋에서 수행되었다. 모델 아키텍처는 MNIST에 대해 2개의 전결합 레이어(512 뉴런), CIFAR‑10에 대해 2개의 컨볼루션 블록과 전결합 레이어를 사용했으며, 모두 드롭아웃을 적용했다. 비교 대상은 ML, 베이지안 드롭아웃(BD), OSBA, 그리고 MNIST에 한해 표준 변분(SV)이다. 불확실성 특징은 다음과 같다. ML은 단일 엔트로피 값만 사용하고, 베이지안 방법은 100번 샘플링을 통해 엔트로피 평균·분산, 평균 예측 벡터의 엔트로피, 클래스별 예측 분산 평균 등을 포함한다. 평가 프로토콜은 ‘Blind’와 ‘Calibrated’ 두 가지로 나뉜다. Blind는 In‑class와 Out‑class만을 구분하고, Calibrated는 추가로 Unknown‑class를 도입해 훈련 시 균등 확률을 목표로 한다. 결과는 다음과 같다. MNIST에서는 베이지안 방법(BD, OSBA, SV)이 모두 ML보다 높은 AUC를 기록했으며, 특히 Calibrated 프로토콜에서 차이가 크게 나타났다. Bayesian ANOVA 분석 결과, 프로토콜 차이가 방법 차이보다 큰 영향을 미쳤지만, 베이지안 방법이 전반적으로 유의미하게 우수함을 확인했다. CIFAR‑10에서는 클래스 간 의미적 겹침이 존재해 차이가 미미했으며, BD와 OSBA가 약간의 이점을 보였지만 통계적으로 유의미하지 않았다. 정확도 측면에서는 모든 모델이 비슷한 수준을 유지했으며, OSBA와 SV는 동일한 정확도를 보였지만 OSBA는 약 10배 빠른 학습 시간을 기록했다. 이는 불확실성 품질 향상이 단순히 정확도 향상에 의한 것이 아니라, 예측 분포의 풍부한 정보를 활용한 결과임을 의미한다. 결론적으로, 논문은 베이지안 드롭아웃과 OSBA가 기존 최대우도 모델에 비해 더 신뢰할 수 있는 불확실성 정보를 제공한다는 것을 실험적으로 입증했다. 또한 OSBA는 연산 효율성을 크게 개선하면서도 변분 베이지안 방법과 동등한 불확실성 품질을 유지한다는 장점을 갖는다. 다만 현재 제안된 평가 방법은 클래스 간 구분이 명확한 상황에 한정될 수 있으며, 복잡하고 중첩된 데이터셋에서는 보다 정교한 불확실성 평가 지표가 필요하다. 향후 연구에서는 이미지넷 수준의 대규모 데이터와 다양한 불확실성 메트릭을 탐색하고, OSBA를 다른 네트워크 아키텍처와 결합해 실시간 시스템에 적용하는 방안을 모색할 계획이다.