변수 소거와 트리폭을 활용한 정확·근사 추론 전략

본 논문은 확률 그래프 모델에서 추론 문제를 해결하기 위한 두 축, 즉 정확한 변수 소거와 근사 추론 방법을 체계적으로 정리한다. 먼저 그래프 모델의 정의와 잠재 함수(potential)들의 factorization을 소개하고, 이를 기반으로 변수 소거(variable elimination)의 원리를 설명한다. 변수 소거는 곱셈·덧셈(또는 곱·최대) 연산을 교환법칙·결합법칙·분배법칙이 성립하는 반-환(semi‑ring) 구조 위에서 수행되며, 변수 제거 순서에 따라 중간 팩터의 차수가 달라진다. 이 차수의 최댓값이 바로 그래프의 트리폭(treewidth)이며, 복잡도는 O(n·d^{tw+1})(n: 변수 수, d: 도메인 크기, tw: 트리폭) 형태로 나타난다. 따라서 트리폭이 작으면 변수 수에 비례하는 선형 시간으로 정확한 주변분포, 정규화 상수, MAP 해 등을 구할 수 있다. 트리폭을 직접 계산하는 것은 NP‑hard이지만, 논문에서는 상한을 제공하는 여러 휴리스틱 알고리즘(최소 차수 순서, 최소 fill‑in, 최소 대역폭 등)과 이를 통해 얻은 ‘좋은’ 소거 순서를 제시한다. 이러한 순서는 실제 베이지안 네트워크와 마코프 랜덤 필드에서 정확한 변수 소거를 가능하게 하며, 실험에서는 combinatorial optimization 대회에서 제공된 벤치마크 그래프에 적용해 상한 알고리즘의 효율성을 검증한다. 트리폭이 큰 경우, 변수 소거를 그대로 적용하면 지수적 비용이 발생한다. 이를 해결하기 위해 두 가지 주요 근사 전략을 제시한다. 첫 번째는 Loopy Belief Propagation(LBP)이다. LBP는 트리 구조가 아닌 그래프에서도 메시지를 순환시켜 근사 주변분포를 계산한다. 논문은 LBP가 변분 프레임워크의 한 형태이며, 자유 에너지(FE) 하한을 최대화하는 분포를 찾는 과정임을 수학적으로 증명한다. 두 번째는 명시적인 변분(variational) 근사법이다. 복잡한 모델을 트리폭이 0,1,2인 단순 모델(트리, 트리‑와이드, 클러스터 트리)로 제한하고, KL 발산을 최소화하는 최적 파라미터를 학습한다. 이때도 변수 소거 원리가 내부 연산을 효율화하는 핵심 도구로 작동한다. 또한 변수 소거와 메시지 패싱을 ‘재파라미터화(re‑parameterization)’라는 관점에서 설명한다. 원래 팩터를 등가하지만 계산이 쉬운 형태로 변환함으로써, 이후 추론 단계에서 연산량을 크게 줄일 수 있다. 이 아이디어는 제약 만족 문제(CSP)와 가중치 제약 만족 문제(WCSP)에서 사용되는 고급 전처리 기법과도 연결된다. 실험 부분에서는 세 가지 도메인에 걸친 사례 연구를 제시한다. 첫째, 유전 연결 분석에서 대규모 마코프 모델을 대상으로 정확한 변수 소거와 LBP, 변분 근사를 비교한다. 둘째, 컴퓨터 비전(이미지 복원·물체 인식)에서 MRF를 이용해 트리폭이 큰 경우 LBP가 빠른 수렴과 충분한 정확도를 제공함을 보인다. 셋째, 결합된 Hidden Markov Model(CHMM)에서 모드 추정과 EM 기반 파라미터 학습을 수행한다. 여기서는 정확한 소거가 가능한 경우와 불가능한 경우를 모두 다루며, 트리폭이 큰 경우 변분 근사가 메모리와 시간 측면에서 현저히 유리함을 확인한다. 결론적으로, 논문은 ‘트리폭을 먼저 평가하고, 그에 맞는 소거 순서 혹은 근사 전략을 선택하라’는 실용적인 워크플로우를 제시한다. 트리폭이 낮은 경우에는 상한 알고리즘을 이용해 좋은 소거 순서를 찾아 정확한 변수 소거를 수행하고, 트리폭이 높아 정확한 소거가 비현실적일 때는 LBP와 변분 방법을 통해 효율적인 근사 해를 얻는다. 이러한 접근법은 통계학자·머신러닝 연구자·최적화 엔지니어 모두가 그래프 모델을 설계·분석할 때 반드시 고려해야 할 핵심 지침을 제공한다.