다중 클래스 분리 데이터에서 핵심 규범 제약 하의 암묵적 편향 탐구

초록

본 논문은 정규화된 최급강하(Normalized Steepest Descent, NSD) 프레임워크를 이용해 다중 클래스 선형 모델이 어떤 규범(ℓ₂, ℓ∞, 스펙트럼, 핵심) 하에서 최대 마진 해로 수렴하는지를 이론적으로 분석한다. 특히 핵심 규범 제약을 적용한 새로운 옵티마이저 NucGD를 제안하고, 전통적인 SVD 대신 비동기 파워 이터레이션을 활용한 SVD‑free 구현을 제시한다. 실험을 통해 NucGD가 저‑랭크 구조를 자연스럽게 유도하며, 미니배치 노이즈와 모멘텀의 수준에 따라 암묵적 편향이 어떻게 변하는지 정량적으로 확인한다.

상세 분석

논문은 먼저 과대 파라미터화된 신경망이 왜 일반화 능력을 유지하는지를 설명하기 위해 “암묵적 편향(implicit bias)” 개념을 도입한다. 기존 연구는 선형 모델에 대해 지수 손실을 사용한 경사하강법(GD)이 ℓ₂ 마진 SVM 해로 수렴한다는 결과를 제시했으며, 이를 다중 클래스 상황으로 확장한 Ravi 등