기대 입자 신념 전파: 연속 상태 마코프 랜덤 필드의 효율적 근사

초록

본 논문은 연속 상태 공간을 갖는 쌍방향 마코프 랜덤 필드(MRF)에서 Loopy Belief Propagation(LBP)의 메시지를 근사하기 위해, 제안 분포를 지수족으로 제한하고 Expectation Propagation(EP)으로 파라미터를 순환 업데이트하는 입자 기반 알고리즘(EPBP)을 제안한다. EPBP는 기존 Particle Belief Propagation(PBP)보다 정확도와 계산 효율성이 뛰어나며, 입자 수가 증가할수록 LBP 주변변수를 일관적으로 추정한다. 또한, O(N²) 복잡도를 O(N·log N) 수준으로 낮춘 서브-쿼드라틱 구현도 제시한다.

상세 분석

본 연구는 연속형 변수에 대한 LBP 구현의 핵심 난제인 “메시지의 비정규화와 비가우시안 형태”를 두 가지 혁신적인 접근으로 해결한다. 첫째, 메시지와 노드 믿음(belief)을 직접 샘플링하는 대신, 지수족(예: 가우시안)으로 제한된 제안 분포 q_u(x_u)를 도입한다. 이 제안 분포는 현재 입자 기반 메시지 b_m^{wu}와 노드 포텐셜 ψ_u를 EP 프레임워크에 의해 순차적으로 투영(projection)함으로써 파라미터 η_u를 업데이트한다. EP 단계에서는 “cavity distribution” q_{\setminus w u}를 구성하고, 이를 tilted distribution인 b_m^{wu}·q_{\setminus w u}와 KL 최소화하여 새로운 η_{+ wu}를 얻는다. 이 과정은 지수족 내부에서 KL 발산을 최소화하는 최적의 순간(moment) 매칭을 의미하며, 실제 구현에서는 소수의 평가점으로 근사한다.

둘째, 입자 기반 메시지 업데이트는 기존 PBP가 제안한 MCMC 기반 샘플링을 완전히 배제한다. EPBP는 q_u에서 직접 N개의 독립 입자를 추출하고, 중요도 가중치 w_i^{uv}=cM_{uv}(x_i^u)/q_u(x_i^u) 를 이용해 메시지 b_m^{uv}(x_v)=∑{i=1}^N w_i^{uv} ψ{uv}(x_i^u, x_v) 로 구성한다. 여기서 cM_{uv}(x_i^u)=B_u(x_i^u)/b_m^{vu}(x_i^u) 는 현재 믿음과 역메시지의 비율이다. 이 방식은 샘플링 오차가 없으며, 입자 수 N→∞ 일 때 LBP 주변변수에 대한 일관적 추정이 보장된다.

계산 복잡도 측면에서, 각 EP 투영은 O(N) 연산이며, 입자 추출도 O(N)이다. 가장 비용이 많이 드는 단계는 메시지 가중치 평가로, 각 입자에 대해 N개의 혼합 성분을 모두 계산해야 하므로 O(|Γ_u| N²) 가 된다. 저자들은 이를 완화하기 위해