강인한 확률적 경사 후방 샘플링을 위한 격자 기반 이산화 기법

초록

본 논문은 미니배치 크기와 경사 노이즈에 민감한 기존 확률적 경사 MCMC 방법의 한계를 극복하고자, 오프다이아고날 공분산 요소만을 통해 stochastic noise를 도입하는 격자 기반 랜덤 워크(SGLRW)를 제안한다. 이 방법은 이론적 수렴성을 유지하면서 미니배치 크기에 대한 강인성을 제공한다. 또한, 경사 클리핑을 적용한 SGLD 변형을 비교 분석하고, 베이지안 회귀·분류 실험을 통해 SGLRW가 중량 꼬리 노이즈 상황에서도 안정적으로 동작하고 예측 성능을 향상시킴을 입증한다.

상세 분석

논문은 먼저 기존 Stochastic Gradient Langevin Dynamics(SGLD)의 근본적인 약점을 짚는다. SGLD는 미니배치로부터 얻는 경사 추정치에 포함된 노이즈를 직접 Gaussian noise와 합산함으로써 확률적 흐름을 구현한다. 그러나 이때 노이즈의 분산이 미니배치 크기에 비례하게 변동하므로, 배치가 작아질수록 과도한 확산이 발생하고, 반대로 배치가 커지면 탐색 효율이 저하된다. 저자들은 이러한 문제를 해결하기 위해 Lattice Random Walk(LRW)라는 이산화 스킴을 차용한다. LRW는 연속적인 확률 미분 방정식 대신 격자 점들 사이를 점프하는 마코프 체인을 정의하는데, 여기서 전이 확률은 대각선이 1이고 오프다이아고날 요소가 노이즈 수준을 조절한다는 특징이 있다. SGLRW는 이 구조를 확률적 경사 추정에 적용해, 경사 자체는 그대로 사용하고 오프다이아고날 공분산만을 통해 stochastic perturbation을 삽입한다. 결과적으로 노이즈의 크기가 미니배치 크기에 거의 독립적이게 되며, 이론적으로는 기존 SGLD와 동일한 확률적 미분 방정식의 불변 측정량을 보존한다. 논문은 또한, 경사 클리핑을 적용한 SGLD 변형을 제시한다. 클리핑은 폭발적인 그라디언트 값을 억제하지만, 노이즈 구조를 근본적으로 바꾸지는 못한다는 점에서 SGLRW와는 차별화된다. 실험에서는 베이지안 선형 회귀와 다층 퍼셉트론 기반 분류 문제를 대상으로, 미니배치 크기를 16부터 1024까지 다양하게 조정하고, 인위적으로 중량 꼬리(heavy‑tailed) 노이즈를 추가한 상황을 설정한다. 결과는 SGLRW가 SGLD와 클리핑 SGLD 모두보다 높은 로그우도와 낮은 RMSE를 기록하며, 특히 작은 배치와 강한 노이즈 환경에서 수렴이 급격히 붕괴되는 현상을 방지한다는 점을 강조한다. 이와 같은 실험적 증거는 오프다이아고날 노이즈 주입이 미니배치 의존성을 완화하고, 이산화 과정에서 발생할 수 있는 수치적 불안정을 억제한다는 가설을 강력히 뒷받침한다.