대규모 분류기 보정 모델불가지론 사후 방법의 실증 연구

초록

본 연구는 실제 i.i.d. 탭형 데이터에 대해 21개의 이진 분류 모델에 5가지 모델‑불가지론 사후 보정기(등위 회귀, 플랫 스케일링, 베타 보정, 베른‑아버스, 피어슨화)를 적용하고, 로그손실·브리어 점수·ECE·ECI·스피겔하터 Z 등 다양한 지표로 평가한다. 베른‑아버스와 베타 보정이 로그손실 감소에 가장 큰 효과를 보였으며, 플랫 스케일링과 등위 회귀는 최신 트리·신경망 모델에서 성능 저하를 일으킬 수 있음을 확인했다. 전반적인 정확도 향상은 미미했으며, 어느 방법도 모든 상황에서 일관적으로 우수하지 않았다.

상세 분석

이 논문은 모델‑불가지론(post‑hoc) 보정 방법을 대규모 실험 환경에서 체계적으로 비교한다는 점에서 의미가 크다. 먼저 21개의 분류기를 선정했는데, 여기에는 전통적인 선형 모델(LR, LDA, NB 등), 커널 기반 SVM, 다양한 트리 앙상블(CatBoost, XGBoost, LightGBM, GBC, RF, EBM) 그리고 최신 탭형 신경망·파운데이션 모델(TabTransformer, TabPFN, TabM, TabICL 등)이 포함된다. 데이터셋은 TabArena‑v0.1의 이진 태스크를 사용했으며, 무작위 계층화 5‑fold 교차 검증 후 별도의 캘리브레이션 스플릿을 두어 보정기를 학습시켰다.

보정 방법은 총 5가지로, 등위 회귀(isotonic regression)는 비선형 단조 함수를 이용해 확률을 재조정하고, 플랫 스케일링(Platt scaling)은 로짓 변환 후 선형 회귀를 수행한다. 베타 보정(Beta calibration)은 베타 분포 형태의 파라미터를 추정해 확률을 변형하며, 베른‑아버스(Venn‑Abers)는 Venn‑Predictor 이론을 기반으로 두 개의 확률 구간을 제공한다. 마지막으로 Pearsonify는 평균과 분산을 맞추는 간단한 변환이다.

평가 지표는 로그손실과 브리어 점수 같은 proper scoring rule과, ECE·ECI·Spiegelhalter Z 같은 진단적 캘리브레이션 지표, 그리고 AUC‑ROC·정확도·정밀도·리콜·F1 등 분류 성능 지표를 포함한다. 결과는 다음과 같다. 베른‑아버스는 평균 로그손실 감소율이 -14.17%로 가장 높았으며, 베타 보정이 -13.7%로 그 뒤를 이었다. 베타 보정은 67.1%의 경우에서 로그손실을 가장 많이 개선했으며, 베른‑아버스는 63.2%에서 가장 많이 개선했다. 반면 플랫 스케일링은 개선 빈도가 49.8%에 불과하고, 등위 회귀는 평균적으로 로그손실을 약간 증가시켰다. 브리어 점수에서도 베른‑아버스와 베타 보정이 각각 -4.14%·-3.91%의 개선을 보였고, 등위 회귀도 -3.74%로 의외의 성과를 냈다.

특히 최신 트리 기반 모델과 대형 신경망에서는 플랫 스케일링과 등위 회귀가 확률을 과도하게 왜곡해 로그손실을 악화시키는 경향이 관찰되었다. 이는 강력한 기본 모델이 이미 높은 판별력을 가지고 있어, 단순한 선형 보정이 오히려 과적합을 초래하기 때문이다. 반면 베른‑아버스는 Venn‑Predictor의 이론적 보증(교환가능성 하에서 분포‑자유(validity))을 활용해 극단적인 악화 사례가 적고, 때때로 큰 개선을 이끌어냈다.

계산 비용 측면에서는 모든 보정기가 학습 단계에서 추가적인 추정 과정을 요구한다. 베른‑아버스와 플랫 스케일링은 추론 시 CPU 사용량을 각각 139.5%·47.1% 증가시켰으며, 베타·등위·Pearsonify는 약 1% 이하로 감소시켰다. 메모리 사용량은 보정 전후 크게 차이나지 않았지만, 평균적으로 훈련 시 RAM이 두 배 정도 늘어나는 현상이 있었다.

전반적인 정확도 향상은 모든 방법에서 평균 0.008% 이하로 미미했으며, Pearsonify는 오히려 정확도를 감소시켰다. 따라서 확률 캘리브레이션이 필요하지만 분류 정확도 손실을 최소화하려는 상황에서는 베타 보정이나 베른‑아버스를 우선 고려하는 것이 바람직하다.