Bregman 거리와 L1 정규화 로지스틱 회귀의 통합 접근법

본 논문은 Bregman 거리와 L1 정규화 로지스틱 회귀 사이의 수학적 연관성을 탐구하고, 이를 기반으로 새로운 프라임‑듀얼 최적화 알고리즘을 제안한다. 서론에서는 L1 정규화가 모델의 희소성을 촉진하여 고차원 저샘플 상황에서 과적합을 방지한다는 점을 강조한다. 기존 연구들(특히 Collins와 Schapire, Della Pietra 등)이 Bregman 거리 최소화를 이용해 로지스틱 회귀를 풀었지만, 대부분 제약이 없는 형태였으며, 대규모 문제에 적용하기엔 제한적이었다는 점을 지적한다. 2절에서는 로지스틱 회귀의 기본 설정을 소개한다. 입력 데이터 집합 S={(x_i,y_i)}와 특징 함수 h_j를 정의하고, 선형 결합 f_λ(x)=∑ λ_j h_j(x) 로 모델을 구성한다. 로그 손실 L(λ)=∑ ln(1+e^{−y_i f_λ(x_i)})에 L1 정규화 항 α‖λ‖₁을 추가한 식을 (4)로 제시한다. 3절에서는 Bregman 거리의 일반 정의와 Legendre 변환을 설명한다. 특히, F(p)=∑