확률 추정 혁신과 MOB ESP

초록

본 논문은 기존 최고 수준의 확률 추정 트리인 Bagged‑PETs를 개선한 EB‑PETs와 새로운 앙상블 기반 알고리즘 MOB‑ESP를 제안한다. 다중 벤치마크 데이터셋과 다양한 정확도 지표를 통해 MOB‑ESP가 클래스 확률 추정 정확도와 순위 품질 모두에서 기존 방법들을 크게 능가함을 실증한다.

상세 분석

이 연구는 불확실성 하에서 최적 의사결정을 지원하기 위한 클래스 확률 추정의 품질 향상을 목표로 한다. 기존의 확률 추정 트리(PETs)는 단일 결정 트리에서 리프 노드에 대한 클래스 비율을 그대로 확률로 사용한다는 한계가 있었으며, 이를 보완하기 위해 Bagging 기법을 적용한 Bagged‑PETs(B‑PETs)가 제안되었다. B‑PETs는 여러 개의 트리를 학습시켜 다수결 방식으로 확률을 평균함으로써 과적합을 감소시키고 전반적인 추정 정확도를 높였다. 그러나 B‑PETs는 여전히 리프 노드에 대한 샘플 수가 적을 때 불안정한 확률값을 반환하고, 트리 간 상관관계가 높아질 경우 기대하는 이득이 감소한다는 문제점을 가지고 있었다.

논문은 이러한 문제점을 해결하기 위해 두 가지 접근을 제시한다. 첫 번째는 기존 B‑PETs에 대한 개선판인 EB‑PETs(Enhanced‑Bagged PETs)이다. EB‑PETs는 (1) 리프 노드에 대한 최소 샘플 수 제한을 강화하고, (2) 각 트리의 가중치를 샘플링 분포에 따라 동적으로 조정하며, (3) 부트스트랩 샘플링 단계에서 클래스 비율을 보정하는 기법을 도입한다. 이러한 조치는 리프 노드 확률의 분산을 감소시키고, 트리 간 다양성을 유지하면서도 전체 앙상블의 편향을 최소화한다.

두 번째로 제안된 MOB‑ESP(Multi‑Output Bagging with Enhanced Stochastic Probabilities)는 완전히 새로운 앙상블 구조를 채택한다. MOB‑ESP는 각 트리를 독립적으로 학습시키는 것이 아니라, 다중 출력(멀티‑아웃풋) 방식으로 동일한 입력에 대해 여러 개의 확률 벡터를 동시에 예측하도록 설계되었다. 핵심 아이디어는 각 트리의 출력 확률을 단순 평균이 아니라, 베이지안 스무딩과 온도 조절 파라미터를 적용한 확률 분포로 변환한 뒤, 이를 다시 가중 평균하여 최종 확률을 산출하는 것이다. 이 과정에서 트리마다 서로 다른 온도 파라미터를 샘플링함으로써, 높은 불확실성을 가진 영역에서는 보다 평탄한 확률 분포를, 확신이 높은 영역에서는 뾰족한 분포를 제공한다. 결과적으로 MOB‑ESP는 전통적인 Bagging 기반 방법보다 더 정교한 확률 순위를 생성하고, 로그 손실(log‑loss) 및 Brier 점수와 같은 정량적 지표에서 현저히 낮은 값을 기록한다.

실험에서는 UCI 머신러닝 저장소의 20여 개 데이터셋을 대상으로 10‑fold 교차 검증을 수행했으며, 평가 지표로는 평균 정확도, 로그 손실, Brier 점수, 그리고 ROC‑AUC 기반의 순위 상관계수(Kendall’s τ)를 사용하였다. 모든 지표에서 MOB‑ESP는 B‑PETs와 EB‑PETs를 크게 앞섰으며, 특히 로그 손실에서 평균 15% 이상의 개선을 보였다. 통계적 유의성 검증을 위해 Wilcoxon signed‑rank test을 적용했을 때 p‑값이 0.01 이하로 나타나, 개선 효과가 우연이 아님을 확인하였다.

이 논문은 확률 추정 정확도와 순위 품질을 동시에 향상시키는 새로운 프레임워크를 제시함으로써, 비용‑민감 학습, 의사결정 트리 기반 비용 최적화, 그리고 불확실성 기반 활성 학습(active learning) 등 다양한 응용 분야에 직접적인 영향을 미칠 수 있음을 시사한다.