평탄함을 찾는 똑똑한 경사하강법, fSGLD

초록

이 논문은 딥러닝 모델의 일반화 성능과 관련된 ‘손실 지형의 평탄성’ 개념에 주목합니다. 기존 최적화 방법의 한계를 극복하며, 평탄한 최소점을 선호하도록 유도하는 새로운 알고리즘 ‘Flatness-Aware Stochastic Gradient Langevin Dynamics(fSGLD)‘를 제안합니다. fSGLD는 단일 경사 계산만으로도 Hessian 정보를 간접적으로 활용하여 평탄한 영역을 찾아가며, 동시에 Langevin 동역학의 전역 탐색 능력을 유지합니다. 이론적 분석을 통해 수렴성을 보장하고, 다양한 실험을 통해 우수한 성능과 불확실성 추정 능력을 입증합니다.

상세 분석

본 논문이 제안하는 fSGLD의 핵심 기여는 ‘계산 효율성을 유지한 채 평탄성 편향(flatness bias)을 도입한 전역 최적화 프레임워크’를 구축한 데 있습니다. 기존 평탄성 기반 최적화 방법론(예: SAM, Entropy-SGD)은 대부분 지역적(local) 탐색에 머무르거나, 추가적인 경사 계산 또는 보조 변수 도입으로 인한 계산 비용 증가 문제가 있었습니다. 반면, Langevin 동역학 기반 방법(예: SGLD)은 전역 탐색 능력을 제공하지만, 목적 함수의 값에만 집중하여 지형의 곡률(curvature) 정보는 무시하는 한계가 있었습니다.

fSGLD는 이 두 계보의 장점을 융합합니다. 핵심 메커니즘은 ‘확률적 경사에 가우시안 섭동(perturbation)을 가하는’ 간단한 수정에 있습니다. 매 반복마다 파라미터 θ에 작은 노이즈 ε을 더한 위치에서 경사를 계산합니다(∇U(θ+ε, X)). 이看似 단순한 변경이 만들어내는 효과가 중요합니다. 저자들은 이 과정이 원래 목적 함수 u(θ) 대신, ‘랜덤화 평활화(randomized-smoothing) 대리 목적 함수’ g_ε(θ) = E