AdaBoost 영감을 받은 신경망 정규화 PENEX 손실

초록

본 논문은 AdaBoost에서 사용되는 지수 손실을 신경망 학습에 적용하기 위해 새로운 다중 클래스 지수 손실인 PENEX( Penalized Exponential Loss)를 제안한다. PENEX는 기존의 제약형 지수 손실(CONEX)의 제약을 완화하고, SumExp 패널티를 도입해 1차 최적화 방법으로 직접 최소화할 수 있다. 이 손실은 마진을 크게 만들고, 자기 보정(self‑calibration) 및 Fisher 일관성을 갖으며, 마진 기반 일반화 경계를 제공한다. 실험에서는 저데이터 환경에서 교차 엔트로피, 라벨 스무딩, confidence penalty 등 기존 정규화 기법들을 능가하거나 동등한 성능을 보이며, 계산 비용도 비슷한 수준임을 확인하였다.

상세 분석

PENEX는 다중 클래스 지수 손실 L_EX(f;α)=E