베이지안 사후분포 샘플링을 위한 확률적 그래디언트 피셔 스코어링

초록

본 논문은 미니배치만을 이용해 베이지안 사후분포를 효율적으로 샘플링하는 방법을 제안한다. 기존 확률적 그래디언트 라그랑주(Langevin) 방식(SGLD)의 혼합 속도가 느린 문제를 베이즈 중심극한정리를 활용해 개선한다. 제안된 알고리즘은 고속 혼합 시에는 사후분포의 정규근사에 수렴하고, 저속 혼합 시에는 사전조건 행렬을 적용한 SGLD와 동일한 동작을 보인다. 또한, 피셔 스코어링과 유사한 형태로 작동해 버닝인 단계에서 최적화 효율을 높인다.

상세 요약

이 논문은 대규모 데이터 환경에서 베이지안 추론을 실시간으로 수행하기 위한 근본적인 질문에 답한다: “매 샘플마다 전체 데이터가 아닌 작은 미니배치만을 사용해 사후분포를 근사적으로 샘플링할 수 있는가?” 기존 방법인 Stochastic Gradient Langevin Dynamics(SGLD)는 확률적 그래디언트를 이용해 라그랑주 방정식을 이산화했지만, 샘플 간 상관관계가 높아 혼합 속도가 급격히 저하되는 한계가 있었다. 저자들은 베이즈 중심극한정리(Bayesian Central Limit Theorem)를 도입해 사후분포가 충분히 큰 데이터에서 거의 정규분포에 가까워진다는 사실을 활용한다. 이를 기반으로, 고혼합률(즉, 작은 스텝 사이즈)에서는 사후분포를 정규근사로 대체하고, 저혼합률(큰 스텝 사이즈)에서는 기존 SGLD와 동일한 확률적 동역학을 유지하도록 설계하였다. 핵심은 피셔 정보 행렬의 역을 사전조건(pre‑conditioner)으로 사용해 각 파라미터 차원에 맞는 스케일링을 제공하는 점이다. 이 행렬은 미니배치 그래디언트의 공분산 추정치를 통해 실시간으로 업데이트되며, 결과적으로 알고리즘은 “Stochastic Gradient Fisher Scoring”이라는 이름에 걸맞게 피셔 스코어링의 최적화 특성을 보인다. 버닝인 단계에서는 스텝 사이즈를 점차 감소시키면서 피셔 정보에 기반한 방향으로 파라미터를 빠르게 수렴시켜, 이후 샘플링 단계에서는 정확한 확률적 흐름을 유지한다. 이중 목적(최적화와 샘플링)을 동시에 달성함으로써, 기존 SGLD 대비 훨씬 빠른 혼합 속도와 낮은 편향을 실현한다. 실험에서는 로지스틱 회귀와 베이지안 신경망 모델에 적용해, 동일한 계산 비용 하에서 기존 SGLD보다 높은 ESS(effective sample size)와 더 정확한 사후 평균·분산 추정치를 보여준다. 또한, 피셔 정보 행렬을 근사하는 방법으로 단순 대각선 근사와 전체 행렬 근사를 비교했으며, 대각선 근사만으로도 충분히 좋은 성능을 얻을 수 있음을 확인했다. 이 논문은 베이지안 대규모 학습에서 샘플링 효율성을 크게 향상시킬 수 있는 실용적인 프레임워크를 제공한다.