중첩 최적화와 일반화: 무거운 꼬리 잡음 하에서의 안정성 분석
안내: 본 포스트의 한글 요약 및 분석 리포트는 AI 기술을 통해 자동 생성되었습니다. 정보의 정확성을 위해 하단의 [원본 논문 뷰어] 또는 ArXiv 원문을 반드시 참조하시기 바랍니다.
초록
본 논문은 p‑BCM(1 < p ≤ 2) 조건을 만족하는 무거운 꼬리 그래디언트 잡음 하에서 알고리즘적 안정성을 이용해 일반화 오차를 정량화한다. 새로운 절단(truncation) 기법을 도입해 4ε + Cₚσₚ n^{-(p‑1)/p} 형태의 일반화 경계식을 얻고, 이를 클리핑 SGD, 정규화 SGD 및 그들의 미니배치·모멘텀 변형에 적용해 구체적인 안정성·일반화 결과를 제시한다.
상세 분석
논문은 먼저 무거운 꼬리 잡음 모델을 p‑BCM(p∈(1,2]) 가정으로 정의한다. 이는 모든 파라미터 x에 대해 E
댓글 및 학술 토론
Loading comments...
의견 남기기