트리 분해 기반 병렬 MAP 추론을 위한 베테 ADMM

본 논문은 이산 그래픽 모델, 특히 쌍방향 마코프 랜덤 필드(MRF)에서 가장 가능성이 높은 상태 조합을 찾는 MAP(maximum a posteriori) 추론 문제를 다룬다. MAP 문제는 일반적으로 NP‑hard이며, 이를 해결하기 위해 LP(선형 계획) 완화가 널리 사용된다. LP 완화는 의사 마진(pseudomarginal) 변수 µ를 도입해 지역적 일관성 제약을 만족하도록 정의된 다면체 L(G) 위에서 목적함수 ⟨µ, f⟩를 최대화하는 형태로 변환된다. 전통적인 해결책은 (1) 듀얼 분해를 이용한 블록 좌표 하강법이나 서브그라디언트 방법, (2) 프라임 알고리즘에서 Bregman 발산을 이용한 근접법, (3) ADMM 기반의 프라임·듀얼 접근법 등이 있다. 특히 최근에는 ADMM을 이용해 문제를 여러 서브문제로 나누고, 각 서브문제에 대해 간단히 해결할 수 있도록 설계된 방법들이 제안되었다. 그러나 기존 ADMM 방식은 서브문제의 크기를 작게 잡을수록 합의 제약(dual 변수)의 수가 급증해 수렴이 느려지는 단점이 있다. 반대로 서브문제를 크게 잡으면 각 서브문제 자체가 복잡해져 이중 루프 구조가 필요하게 된다. 이에 저자들은 두 가지 혁신적인 아이디어를 결합한다. 첫 번째는 그래프를 겹치는 트리 집합 T={τ₁,…,τ_|T|} 로 분해하는 트리 분해 전략이다. 각 트리는 원 그래프의 일부분을 포함하면서도 트리 구조이므로 합계‑곱 알고리즘으로 효율적인 마진 계산이 가능하다. 트리 분해는 엣지 분해(각 서브문제가 단일 엣지)와 스패닝 트리 분해를 모두 포함하는 일반화된 형태이며, 공유되는 노드·엣지 수가 적어 합의 제약의 규모를 크게 줄인다. 두 번째 아이디어는 ADMM의 서브문제 업데이트에 표준 2차 정규화 대신 베테 엔트로피에 기반한 Bregman 발산을 근접 함수 φ로 사용하는 것이다. φ를 −H_Bethe(m) 로 정의하면, 서브문제는  min_{m∈L(τ)} ⟨y_t^τ/α − ∇φ(m_t^τ), m⟩ + φ(m) 와 동등해진다. 여기서 y_t^τ는 현재 라그랑주 승수와 페널티 항을 포함한 선형 항이며, ∇φ(m_t^τ)는 현재 마진의 베테 엔트로피 기울기이다. 베테 엔트로피는 트리 구조에서 합계‑곱이 정확히 최적화를 수행한다는 특성을 갖고 있기 때문에, 위 최적화는 단일 전방‑후방 패스로 해결된다. 결과적으로 각 트리 서브문제는 O(|V_τ|+|E_τ|) 시간에 정확히 풀리며, 이중 루프가 사라진다. 알고리즘 흐름은 다음과 같다. (i) 각 트리 τ에 대해 현재 전역 마진 µ_t와 라그랑주 λ_t를 이용해 y_t^τ를 계산한다. (ii) 베테‑ADMM 업데이트 식 (21)을 합계‑곱으로 수행해 새로운 로컬 마진 m_{t+1}^τ를 얻는다. (iii) 전역 마진 µ_{t+1}는 모든 트리에서 얻은 로컬 마진을 평균(공유된 변수에 대해)하여 업데이트한다. (iv) 라그랑주 λ_{t+1}는 표준 ADMM 방식대로 잔차(m_{t+1}^τ − µ_{t+1})에 페널티 β를 곱해 갱신한다. 수렴 증명에서는 φ가 강볼록이며 Bregman 발산이 0에서 최소가 된다는 성질을 이용한다. 저자들은 라그랑주 승수와 페널티 파라미터 α,β를 적절히 선택하면, 전체 목적함수의 차이가 O(1/T) 로 감소함을 보이며, 이는 기존 ADMM이 보장하는 비부드니스 문제에 대한 최적 수렴 속도와 동일하다. 실험에서는 (1) 합성 그래프와 (2) 실세계 이미지 분할·소셜 네트워크 데이터셋을 사용해, Bethe‑ADMM이 Primal ADMM, Dual ADMM, Exact ADMM에 비해 수렴 속도가 현저히 빠르고, 최종 MAP 해의 목적값은 기존 듀얼 기반 방법과 동등하거나 더 좋음을 확인했다. 특히 트리 분해를 적용했을 때, 공유 변수 수가 크게 감소해 전체 이터레이션 수가 줄어들었다. (3) 대규모 그래프(수백만 노드)에서 OpenMPI 기반 병렬 구현을 수행했으며, 코어 수를 2배, 4배, 8배로 늘릴 때 각각 거의 2배, 4배, 8배에 가까운 속도 향상을 보였다. 이는 트리 기반 서브문제들이 독립적으로 실행될 수 있고, 합의 단계가 비교적 가벼워 병렬 효율이 높아짐을 의미한다. 결론적으로, 이 논문은 (a) 트리 분해를 통한 효율적인 문제 분할, (b) 베테 엔트로피 기반 Bregman 발산을 이용한 인-인액트 ADMM 업데이트, (c) 전역 수렴 및 O(1/T) 수렴 속도 보장, (d) 대규모 병렬 구현에서 거의 선형적인 스케일링이라는 네 가지 핵심 기여를 제시한다. 이러한 접근은 대규모 이산 MRF에서 MAP 추론을 실시간 혹은 대용량 환경에 적용하려는 연구·산업 분야에 큰 영향을 미칠 것으로 기대된다.