샤프니스 인식 최적화의 보편적 프레임워크와 새로운 SAM 변형

초록

본 논문은 Hessian 기반 샤프니스 측정값을 파라미터화하는 보편적 클래스(ϕ,ψ,µ‑샤프니스)를 제안한다. 이 클래스는 모든 Hessian 함수 표현이 가능함을 증명하고, 각 측정값에 대응하는 목표 함수를 설계해 해당 샤프니스를 명시적으로 최소화하도록 만든다. 특수 사례로 Frobenius 노름을 최소화하는 Frob‑SAM과 행렬식(det)을 최소화하는 Det‑SAM을 제시하며, 파라미터 스케일 불변성을 보장한다. 실험을 통해 기존 SAM 대비 일반화 향상을 확인한다.

상세 분석

이 논문은 최근 과대파라미터화 모델에서 일반화 향상을 위해 샤프니스(Sharpness)를 최소화하는 Sharpness‑Aware Minimization(SAM) 알고리즘을 확장한다. 기존 연구는 주로 Hessian의 최대 고유값(λ_max)이나 트레이스(trace)와 같은 제한된 샤프니스 지표에만 초점을 맞추었으며, 이러한 지표는 비볼록 손실 표면이나 파라미터 스케일링 불변성을 가진 신경망에 대해 의미가 약하다. 저자들은 이러한 한계를 극복하기 위해 (ϕ,ψ,µ)‑샤프니스 측정값을 정의한다. 구체적으로
\