미니맥스 일반화 교차 엔트로피

초록

본 논문은 기존 일반화 교차 엔트로피(GCE)의 비볼록성 문제를 해결하고자, α‑손실을 기반으로 한 미니맥스 형태의 MGCE(Minimax Generalized Cross‑Entropy)를 제안한다. MGCE는 분류 마진에 대한 볼록 최적화를 제공하며, 최악의 경우 기대 손실을 최소화하는 이중 최적화 구조를 갖는다. 암시적 미분을 이용한 확률적 그래디언트 계산으로 대규모 딥러닝 모델에 효율적으로 적용할 수 있다. 실험 결과, 라벨 노이즈가 존재할 때도 높은 정확도와 빠른 수렴, 우수한 캘리브레이션을 보여준다.

상세 분석

MGCE는 기존 GCE가 소프트맥스 링크 함수를 고정적으로 사용함으로써 마진에 대한 손실이 비볼록이 되는 문제점을 근본적으로 재구성한다. 논문은 α‑손실(β 파라미터로 표기) 을 마진 → 확률 변환 단계에서 β에 종속적인 새로운 링크 함수를 도입한다. 이 링크는
(h_{\beta}(x)_y = \bigl