확률변분 추론의 새로운 길 확률적 탐색 기반 변분 베이지안

초록

본 논문은 평균장 변분 추론(mean‑field variational inference)의 한계인 폐쇄형 적분 부재 문제를 해결하기 위해, 확률적 탐색(stochastic search) 기반 최적화 알고리즘을 제안한다. 제안 방법은 제어변량(control variates)을 활용해 샘플링 기반 그라디언트의 분산을 크게 감소시키며, 기존의 하한(lower bound) 기법을 보조적으로 이용한다. 로지스틱 회귀와 계층 디리클레 프로세스(HDP) 근사 모델에 적용해 비공액(non‑conjugate) 상황에서도 높은 정확도와 효율성을 입증한다.

상세 분석

본 연구는 변분 베이지안 추론에서 가장 널리 사용되는 평균장 접근법이 “로그 결합 가능도(log joint likelihood)의 각 항을 인수분해된 변분 분포 하에서 적분”해야 하는데, 이 적분이 폐쇄형으로 풀리지 않을 경우 기존에는 하한을 도입해 근사하는 방식을 사용해 왔다는 점을 지적한다. 그러나 하한을 사용하면 최적화 목표가 실제 ELBO(Evidence Lower BOund)와 차이가 발생해 수렴 속도가 느려지고, 모델에 따라서는 하한 자체가 매우 느슨해져 추정 정확도가 크게 떨어진다. 이를 극복하기 위해 저자들은 ELBO 자체를 직접 최적화하는 확률적 탐색 방법을 고안한다. 핵심 아이디어는 ELBO의 기대값을 Monte‑Carlo 샘플링으로 추정하고, 그에 대한 그라디언트를 스토캐스틱 그라디언트 어센트(SGA) 형태로 업데이트하는 것이다. 하지만 순수 샘플링은 분산이 커서 학습이 불안정해질 위험이 있다. 이를 해결하기 위해 제어변량 기법을 도입한다. 구체적으로, 기존에 사용되던 하한 함수를 제어변량으로 선택해, 샘플링된 ELBO 그라디언트와 하한 그라디언트의 차이를 보정함으로써 분산을 크게 감소시킨다. 이 과정에서 하한은 “보조적인” 역할을 수행하지만, 최적화 목표는 여전히 원본 ELBO이며, 따라서 이론적으로는 하한에 의존하지 않는다.

알고리즘 흐름은 다음과 같다. 1) 현재 변분 파라미터 θ에 대해 변분 분포 qθ(z)를 정의하고, 2) qθ로부터 샘플 z₁,…,zₘ을 추출한다. 3) 각 샘플에 대해 로그 결합 가능도와 변분 엔트로피를 계산해 ELBO 추정값 Ŵ(θ)를 얻는다. 4) 제어변량 c(z) (예: 기존 하한)와 그 기대값을 이용해 보정된 그라디언트 ĝ(θ)=∇θ Ŵ(θ)−∇θ c(z)+E_q