가능도 없는 베이지안 추론을 위한 기대전파 기반 ABC

초록

본 논문은 시뮬레이션만 가능한 복잡 모델에 대해 전통적인 ABC의 저효율성을 극복하고자, 기대전파(Expectation Propagation, EP)를 활용한 EP‑ABC 알고리즘을 제안한다. EP‑ABC는 전역 요약통계 대신 각 데이터 포인트별 로컬 제약을 사용해 요약통계 없이도 사후분포와 모델 증거를 근사한다. 실험 결과, 기존 ABC 대비 수십 배에서 수천 배 빠른 계산 속도와 거의 무시할 수준의 근사 오차를 보인다.

상세 분석

EP‑ABC는 기존 ABC가 직면한 두 가지 근본적인 문제, 즉 “요약통계 선택의 주관성”과 “극히 낮은 수용률”을 동시에 해결한다. 핵심 아이디어는 베이지안 사후를 p(θ | y) ≈ p(θ) ∏_{i=1}^n l_i(θ) 와 같이 factorization 가능한 형태로 재구성하고, 각 l_i(θ) 를 “시뮬레이션 기반 로컬 제약” 즉 1{‖s_i(y_i)‑s_i(y_i^*)‖≤ε} 으로 정의한다는 점이다. 여기서 s_i 는 데이터 청크 y_i 에 대한 요약통계이며, y_i 그 자체를 그대로 사용(s_i(y_i)=y_i)할 경우 요약통계가 완전히 사라진다. 이렇게 하면 전체 데이터에 대한 고차원 요약통계가 필요 없으며, 각 청크에 대해 독립적인 ABC 문제를 풀어야 하므로 수용률이 크게 향상된다.

EP‑ABC는 기대전파(EP)의 “site‑wise” 업데이트 메커니즘을 그대로 차용한다. EP는 목표 밀도 π(θ)=∏_i l_i(θ) 를 Gaussian q(θ) ≈ ∏_i f_i(θ) 로 근사한다. 각 site f_i 는 자연 파라미터 (Q_i, r_i) 로 표현되는 정규분포 형태이며, 업데이트는 “하이브리드” h(θ) ∝ q^{‑i}(θ) l_i(θ) 의 1차·2차 모멘트를 맞추는 방식으로 수행된다. 여기서 q^{‑i} 는 f_i 를 제외한 현재의 EP 근사이다. 요약통계가 없을 경우 l_i(θ) 는 단순히 θ 에 대한 시뮬레이션 결과와 ε‑볼록 안에 들어가는지를 판단하는 indicator 함수가 된다. 따라서 h(θ) 의 모멘트는 θ ∼ N(μ^{‑i}, Σ^{‑i}) 에서 샘플을 추출하고, 각 샘플에 대해 y_i∼p(y_i|θ) 을 시뮬레이션한 뒤 ‖y_i‑y_i^*‖≤ε 인 경우만 가중치를 부여해 Monte‑Carlo 추정한다. 이 과정은 “likelihood‑free” 특성을 그대로 유지하면서도 EP가 요구하는 Gaussian q^{‑i} 와의 결합을 가능하게 만든다.

알고리즘의 효율성은 두 가지 측면에서 입증된다. 첫째, 각 site 업데이트는 고차원 요약통계가 없으므로 θ 공간에서의 샘플링만 필요하고, 이는 기존 ABC가 전체 데이터에 대해 거대한 ε‑볼록을 탐색해야 하는 것에 비해 수십 배 빠른 수용률을 제공한다. 둘째, EP의 반복적 site‑wise 업데이트는 전체 사후분포를 전역적으로 조정하므로, 단일 ε‑볼록을 만족하는 샘플이 드물어도 여러 site에서 누적된 정보를 통해 정확한 근사가 가능하다. 실험에서는 EP‑ABC가 3개의 실제 사례(금융, 인구생태, 시각과학)에서 표준 ABC 대비 10³ ~ 10⁴배 빠른 실행 시간을 보였으며, 사후 평균·분산·예측 분포 모두에서 차이가 통계적으로 유의미하지 않을 정도로 정확했다.

또한 EP‑ABC는 증거(모델 주변가능도) p(y) 의 근사도 제공한다. EP의 정규화 상수 C_i 와 Ψ(r,Q) 를 이용해 log p(y)≈∑_i log C_i + Ψ(r,Q)‑Ψ(r_0,Q_0) 을 계산한다. 이는 모델 비교에 필수적인 베이지안 모델 선택을 가능하게 하며, 기존 ABC에서는 별도의 복잡한 방법(예: ABC‑ML) 없이도 자연스럽게 얻을 수 있다.

제한점으로는 (l_i) 가 Gaussian q^{‑i} 와 결합했을 때 모멘트가 계산 가능해야 한다는 전제가 있다. 이는 θ 공간이 고차원이거나 l_i 가 매우 복잡한 경우 Monte‑Carlo 샘플 수가 급증할 수 있음을 의미한다. 저자들은 quasi‑Monte‑Carlo 기법과 적응형 ε 조절을 통해 이를 완화했으며, 향후 연구에서는 비‑Gaussian site 또는 변분 자동미분을 결합한 확장 가능성을 제시한다. 전반적으로 EP‑ABC는 “likelihood‑free” 베이지안 추론을 실용적인 수준으로 끌어올린 중요한 진전이라 할 수 있다.