딥 확률적 감독으로 이미지 분류 성능 향상

초록

본 논문은 딥 뉴럴 네트워크 학습 시 하드 라벨 대신 모델 자체 예측을 베이지안 방식으로 누적·할인하여 샘플별 확률 목표를 생성하는 Deep Probabilistic Supervision(DPS)를 제안한다. DPS는 기존 자기증류 방법보다 일반화와 캘리브레이션이 우수하며, 라벨 노이즈와 데이터 변형에 대한 강인성을 보인다.

상세 분석

DPS는 “하드 타깃”에 의존하지 않는 자기증류 프레임워크로, 모델의 현재 예측을 관측값으로 간주하고 이를 베이지안 업데이트에 활용한다. 구체적으로 각 샘플 i에 대해 클래스 변수 z_i를 카테고리컬 분포로 두고, 사전 확률을 Dirichlet(α_i)로 설정한다. 초기 사전은 라벨 y⁰_i에 강하게 집중하도록 α⁰_{i,j}=c (정답 클래스)와 ε (그 외 클래스)로 정의한다. 학습 중 매 epoch t에서 모델이 출력한 소프트맥스 예측 ŷ_ti는 “부분 증거”로 해석되어 Dirichlet 파라미터에 더해진다(α_ti = α_{t‑1,i} + ŷ_ti).

하지만 초기 예측은 노이즈가 크므로, 오래된 증거를 동일하게 가중치하는 전통적 베이지안 업데이트는 부적절하다. 이를 해결하기 위해 DPS는 할인 계수 γ∈