불확실한 정답을 위한 신뢰도 보정

초록

본 논문은 다중 주석자가 존재하는 데이터에서 기존의 단일 라벨 기반 보정이 실제 라벨 분포에 대해 크게 오보정된다는 점을 지적한다. 온도 스케일링은 주석 불확실성을 과소평가하도록 편향되며, 라벨 엔트로피가 클수록 오보정이 심해진다. 이를 해결하기 위해 전체 주석 분포를 활용한 Dirichlet‑Soft, 단일 주석만으로도 충분한 Monte Carlo Temperature Scaling (MCTS S=1), 그리고 투표 라벨만으로 의사 소프트 타깃을 생성하는 Label‑Smooth TS(LS‑TS) 등 세 가지 후처리 보정 방법을 제안한다. 실험 결과, 제안 방법들은 기존 온도 스케일링 대비 ECE를 55 %‑87 %까지 감소시킨다.

상세 분석

이 논문은 “진실 라벨 보정(True‑Label Calibration)”이라는 새로운 개념을 정의한다. 기존의 신뢰도 보정은 각 입력에 대해 유일한 정답 라벨이 존재한다는 전제 하에, 모델의 예측 확률과 정답 라벨이 일치하도록 온도 스케일링(TS)이나 플랫 스케일링 등을 적용한다. 그러나 인간 주석자가 의견을 달리하는 경우, 실제 정답은 하나의 원-핫 라벨이 아니라 라벨에 대한 확률 분포 π(·|x)이다. 저자는 이 분포를 “주석자 분포”라 명명하고, 투표 라벨 y*에 기반한 보정이 π와 일치하지 않아 본질적인 오보정을 초래함을 증명한다.

이론적 분석에서는 두 가지 핵심 명제를 제시한다. 첫 번째는 TS가 온도 파라미터 T를 낮추는 방향으로 편향된다는 것으로, 이는 모델이 이미 과신(over‑confident)한 경우 특히 심화된다. 두 번째는 라벨 엔트로피가 증가할수록(즉, 주석자 의견이 더 분산될수록) TS에 의한 오보정이 단조롭게 커진다는 점이다. 이러한 현상은 실험적 2‑D 가우시안 데이터와 CIFAR‑10H, ChaosNLI 등 실제 데이터셋에서 확인된다.

제안된 보정 방법들은 모두 “주석자 분포”를 목표로 삼는다. Dirichlet‑Soft는 전체 주석자 분포를 직접 활용해 교차 엔트로피를 최소화하는 파라미터화된 디리클레 변환을 적용한다. MCTS는 각 샘플에 대해 단일 주석만을 사용해 Monte Carlo 방식으로 온도 파라미터를 추정한다; 실험 결과 S=1이면 전체 분포와 동일한 보정 효과를 얻는다. LS‑TS는 투표 라벨만 이용하되, 모델 자체의 예측 확률을 이용해 데이터‑드리븐 소프트 타깃을 생성한다. 이 세 방법은 모두 사후 보정(post‑hoc)이며, 모델 재학습 없이 로그잇(logits)만으로 적용 가능하다.

실험에서는 ECE(true), Brier score, NLL 등 엄격한 proper scoring rule을 사용해 평가하였다. Dirichlet‑Soft는 모든 벤치마크에서 ECE(true)를 평균 55 %‑87 % 감소시켰으며, LS‑TS는 주석자 데이터가 전혀 없을 때도 9 %‑77 %의 개선을 보였다. 흥미롭게도, 기존의 고성능 보정기인 Dirichlet‑Hard(투표 라벨 기반)조차도 TS보다 오히려 ECE(true)를 악화시켰다. 이는 “잘못된 목표 함수”가 보정 성능을 좌우한다는 핵심 메시지를 뒷받침한다.

결론적으로, 라벨이 본질적으로 모호한 상황에서는 단일 라벨 기반 보정이 근본적으로 한계가 있다. 주석자 분포를 직접 목표로 삼는 보정 방법이 필요하며, 제안된 세 가지 접근법은 주석 데이터의 가용성에 따라 유연하게 선택할 수 있다.