DETR 예측 신뢰성 측정: 객체 수준 캘리브레이션과 이미지 수준 불확실성

초록

DETR 계열 모델은 수백 개의 예측을 생성하지만, 실제 객체당 하나의 예측만이 높은 신뢰도와 정확한 캘리브레이션을 갖는다. 논문은 헝가리안 매칭 손실이 이러한 “전문가 전략”(primary prediction은 잘 캘리브레이션되고, 나머지는 전경 신뢰도를 거의 0으로 억제) 을 최적해로 만든다는 이론적·실험적 증거를 제시한다. 기존 AP·ECE와 달리 객체별 캘리브레이션 오류(OCE)를 정의해 모델과 후처리 알고리즘을 동시에 평가하고, OCE 기반으로 긍정·부정 예측의 신뢰도 대비를 이용해 이미지‑레벨 불확실성을 추정하는 프레임워크를 제안한다.

상세 분석

본 논문은 DETR과 그 변형들이 헝가리안 매칭 손실을 최소화하기 위해 “전문가 전략(specialist strategy)”을 자연스럽게 학습한다는 점을 핵심으로 분석한다. 헝가리안 매칭은 각 ground‑truth 객체와 예측을 1‑대‑1로 매칭하고, 배경(∅) 객체와 매칭된 예측에 대해 전경 확률을 크게 벌점한다. 이 구조는 하나의 예측이 높은 클래스 확률을 가질 때만 손실이 감소하도록 압력을 가한다. 결과적으로 모델은 각 객체당 하나의 primary prediction을 고신뢰도로 학습하고, 나머지 secondary prediction들은 정확한 박스 위치를 유지하면서도 전경 확률을 거의 0에 가깝게 억제한다. 이 현상은 실험적으로도 확인되었으며, secondary 예측이 높은 IoU를 갖지만 confidence가 낮아 NMS와 같은 전통적 후처리로는 구분이 어렵다.

이러한 특성 때문에 기존의 평균 정밀도(AP)와 기대 캘리브레이션 오류(ECE)는 모델 신뢰성을 제대로 평가하지 못한다. AP는 모든 예측을 포함해 높은 recall를 장려하므로, 억제된 secondary 예측까지 포함해 과대평가한다. 반면 ECE는 confidence가 낮은 예측을 무시하거나 threshold를 임의로 설정하면 실제 객체를 놓치는 경우를 반영하지 못한다.

논문은 이를 해결하기 위해 Object‑level Calibration Error(OCE)를 제안한다. OCE는 각 ground‑truth 객체를 기준으로 primary와 secondary 예측을 구분하고, primary가 잘 캘리브레이션되었는지, secondary가 충분히 억제되었는지를 동시에 측정한다. 즉, “missed ground‑truth”와 “retained suppressed prediction” 두 종류의 오류를 모두 포함한다. OCE는 모델 자체와 후처리(예: top‑k 선택, confidence threshold) 조합을 평가할 수 있는 통합 지표가 된다.

또한, 논문은 OCE를 이용해 이미지‑레벨 불확실성을 추정한다. 이미지 내에서 OCE가 선택한 positive prediction들의 confidence 평균과, 나머지 negative prediction들의 confidence 평균 간의 대비(contrast)를 계산하면, 해당 이미지 전체의 정확도와 강한 상관관계를 보인다. 이를 기반으로 간단한 회귀 모델을 학습시켜, 입력 이미지만으로도 전체 검출 정확도를 예측하는 post‑hoc UQ 프레임워크를 구축한다. 실험에서는 COCO와 Cityscapes에서 인‑도메인, 근접 OOD, 원거리 OOD 상황 모두에서 높은 상관계수와 낮은 RMSE를 달성하였다.

결과적으로, DETR의 구조적 특성이 “하나의 신뢰할 수 있는 예측 + 다수의 억제된 예측”이라는 최적 전략을 강제하고, 이를 정량화·활용하기 위해 OCE와 이미지‑레벨 UQ를 제안한 점이 본 연구의 핵심 기여이다.