학습형 전처리기를 활용한 MCMC의 비점근적 효율성 분석

초록

본 논문은 마코프 체인 몬테카를로(MCMC)에서 사전조건(preconditioner)을 학습·적용하는 방법의 비점근적(유한시간) 복잡도를 정량화한다. 목표 분포의 공분산 혹은 기대 해시안(피셔 행렬)을 추정해 얻은 선형 전처리기가 ULA와 비조정된 언더다뎀프드 라인젠 알고리즘에 미치는 영향을 분석하고, 학습 비용을 여러 샘플에 걸쳐 상쇄시킬 수 있는 ‘√N·ε‑AIID’ 조건을 도입해 전체 FLOP 수를 비교한다.

상세 분석

논문은 먼저 목표 밀도 π(x)∝exp(−U(x))가 m‑강하게 볼록하고 L‑스무스한 경우, 조건수 κ=L/m이 큰 고차원 문제에서 전통적인 MCMC가 겪는 비효율성을 지적한다. 전처리기로는 두 가지 대표적인 선형 변환을 고려한다. 하나는 목표 공분산 Σπ의 역행렬 Σπ⁻¹, 다른 하나는 기대 해시안 F=Eπ