샤프 방향 서브스페이스 필터링으로 SGD 신호대잡음비 향상

초록

본 논문은 딥러닝 학습 중 발생하는 고차원 해시안의 아웃라이어 방향을 직접 계산하지 않고, 미니배치 기울기의 중심화 공분산을 이용해 저차원 “잡음” 서브스페이스를 온라인으로 추정한다. 추정된 서브스페이스를 기울기에서 제거(DOME)함으로써 최적화 성능은 유지하면서 압축·프라이버시 등 잡음에 민감한 상황에서 신호대잡음비를 크게 개선한다.

상세 분석

DOME 논문은 최근 연구에서 밝혀진 “스몰 배치” 상황에서의 stochastic gradient가 소수의 해시안 아웃라이어(eigenvalue가 큰) 방향에 강하게 정렬된다는 현상을 출발점으로 삼는다. 이러한 방향은 Gauss‑Newton/Fisher 행렬의 주성분과 일치하며, 실제로는 학습에 크게 기여하지 않는 고분산 잡음 성분으로 해석될 수 있다. 기존 방법은 해시안을 직접 계산해 아웃라이어 서브스페이스를 구했지만, 이는 d×d 차원의 2차 미분 정보를 필요로 하여 현실적인 모델에서는 비용이 prohibitive 하다.

논문은 이를 우회하기 위해 “중심화된 기울기 공분산”(centered gradient covariance) Σₜ을 정의한다. Σₜ = E