선택적 사전 동기화와 SYNC 손실

초록

**
본 논문은 사후‑후처리 방식인 Softmax Response가 제공하는 “선택적 사전” 정보를 선택적 예측 전용 모델인 SelectiveNet의 학습 단계에 통합한다. 이를 위해 선택 점수와 Softmax 응답 간 차이를 최소화하는 SYNC 손실을 제안하고, CIFAR‑100·ImageNet‑100·Stanford Cars에서 기존 방법들을 능가하는 커버리지‑리스크 트레이드오프를 실증한다.

**

상세 분석

**
본 연구는 선택적 예측(selective prediction) 분야를 두 축으로 나누어 분석한다. 첫 번째는 모델 구조와 손실 함수를 수정해 선택 메커니즘을 학습에 포함시키는 ad‑hoc 접근(대표적으로 SelectiveNet, Deep Gamblers)이며, 두 번째는 사전 훈련된 모델의 출력만을 이용해 불확실성을 추정하는 post‑hoc 접근(Softmax Response, MC‑Dropout)이다. 기존 ad‑hoc 방법은 선택 헤드가 학습 손실에만 의존해 훈련 데이터에 과적합되는 경향이 있어, 테스트 시 낮은 커버리지 영역에서 선택 점수가 실제 불확실성을 반영하지 못한다는 한계가 있다. 반면 post‑hoc 방식은 훈련 과정에 관여하지 않으면서도 softmax 확률 분포에서 직접 불확실성을 추정한다. 저자들은 이러한 post‑hoc의 불확실성 정보를 “선택적 사전(selective prior)”이라 명명하고, 이를 학습 단계에 활용하면 선택 점수와 실제 불확실성이 동기화될 수 있다고 주장한다.

이를 구현하기 위해 SYNC 손실 ℓ_sync(g(x), p(x)) = ℓ(g(x), score(p(x))) 를 도입한다. 여기서 g(x)는 SelectiveNet의 선택 헤드 출력, p(x)는 softmax 확률 벡터이며, score(p(x))는 기본적으로 Softmax Response = max_i p_i(x) 로 정의된다. 필요에 따라 엔트로피 등 다른 확률 기반 스코어로 교체 가능하다. 전체 손실은
L_SYNC = R(f,g|S) + λ ℓ(c, E