기하학을 활용한 효율적 엔트로피 위험 최소화 알고리즘

초록

본 논문은 로그‑기대‑지수(Log‑E‑Exp) 형태의 손실을 갖는 대규모 분류·불균형 학습·대조 학습 문제를 다루며, 이중 최소화(min‑min) 형태의 듀얼 문제에 스토캐스틱 프로시멀 미러 디센트(SPMD)를 적용한 SCENT 알고리즘을 제안한다. 부정적 지수 함수를 기반으로 한 Bregman 발산을 이용해 ν 변수의 기하학적 구조를 보존하고, O(1/√T) 수렴율을 이론적으로 입증한다. 실험에서는 극단 분류, 부분 AUC, 대조 학습, 분포 강건 최적화 등에서 기존 방법을 지속적으로 능가한다.

상세 분석

CERM(Compositional Entropic Risk Minimization) 문제는 각 데이터 i에 대해 손실을 log E_{ζ∼P_i}