대칭 투영 잡음이 있는 라플라스 동역학의 암묵적 정규화 메커니즘

초록

본 논문은 등거리군 작용에 대해 잡음이 궤도와 직교하는 방향으로 투영된 라플라스 동역학을 연구한다. 초기와 목표 분포가 군 대칭을 보일 때, 해당 동역학은 등방성 확산을 갖는 라플라스 동역학과 동일한 법칙을 따르지만, 궤도 부피의 음의 로그에 비례하는 추가 드리프트가 존재한다는 새로운 암묵적 정규화 효과를 밝혀낸다. 이 추가 드리프트는 궤도의 평균 곡률과 동일함을 증명한다.

상세 분석

논문은 과잉 파라미터화된 모델에서 파라미터 변환이 모델 출력에 영향을 주지 않는 대칭(예: ReLU의 동질성, 어텐션의 행렬 변환) 을 군 G의 등거리 작용으로 형식화한다. 이때 손실 함수 L(x,z)는 G‑불변이며, 따라서 모든 stochastic gradient는 궤도 Oₓ = {g·x | g∈G}의 접공간 TₓOₓ에 수직인 방향으로만 작용한다. 저자는 이를 연속시간 SDE 형태로 모델링하여
dXₜ = –∇f(Xₜ)dt + √2