동적 트리의 구조적 변분 추정: 효율적인 전파 규칙과 향상된 추론

** 본 논문은 동적 트리(Dynamic Tree, DT) 모델의 추론 문제를 다루며, 기존 평균장(mean‑field) 근사의 한계를 극복하기 위한 새로운 구조적 변분(Structured Variational) 방법을 제안한다. 동적 트리는 각 데이터 샘플마다 트리 구조가 달라지는 혼합 모델로, 고정 트리의 제한을 넘어 복잡한 의존 관계를 포착할 수 있다. 그러나 트리 구조가 가변적이기 때문에 정확한 사후 확률 계산은 계산적으로 불가능해진다. 기존에는 MCMC 샘플링이나 평균장 근사를 사용했지만, 전자는 계산 비용이 높고 수렴이 느리며, 후자는 노드 간 강한 상관관계를 무시한다는 근본적인 문제를 가지고 있다. 구조적 변분 접근법은 사후 분포를 또 다른 동적 트리 형태의 근사 분포 \(q(\mathbf{z},\mathbf{t})\) 로 표현한다. 여기서 \(\mathbf{z}\)는 노드 상태, \(\mathbf{t}\)는 트리 구조 변수이며, 두 변수 사이의 의존성을 유지한다. 변분 목표는 KL‑다이버전스 \(\mathrm{KL}(q\|p)\) 를 최소화하는 파라미터를 찾는 것이며, 이는 변분 하한(VB lower bound) 형태로 전환된다. 핵심 기여는 다음과 같다. 1. **변분 근사 형태 정의**: 트리 구조 변수 \(\mathbf{t}\)에 베타-분포를, 노드 상태 \(\mathbf{z}\)에 다항분포를 적용해, 전체 근사 분포를 트리 구조와 일관되게 설계하였다. 2. **효율적인 전파 규칙 도출**: 트리의 위‑아래 방향 메시지 전달을 이용해, 각 노드의 마진을 closed‑form 업데이트 식으로 계산한다. 위쪽 전파는 부모 노드가 자식에게 전달하는 ‘예측’ 메시지를, 아래쪽 전파는 자식이 부모에게 전달하는 ‘정정’ 메시지를 의미한다. 이 두 단계는 각각 O(N) 복잡도로 수행된다(N은 노드 수). 3. **수식적 업데이트**: 각 노드 \(i\)에 대해 \