트리 베이지안 학습을 위한 분해 가능 사전과 효율적 구조 통합

본 논문은 트리 형태의 베이지안 신뢰망(belief network) 학습을 위한 새로운 사전 모델인 “분해 가능 사전(decomposable priors)”을 제시한다. 기존 베이지안 네트워크 학습에서는 구조와 파라미터에 대한 사전이 복잡하고, 사후를 구하기 위해 MCMC와 같은 근사 방법을 사용해야 하는 경우가 많았다. 저자들은 트리 구조에 특화된 두 가지 핵심 결과를 통해 이러한 문제를 근본적으로 해결한다. 첫 번째 결과는 그래프의 모든 스패닝 트리(가능한 트리 구조)에 대한 팩터화된 확률분포를 폐쇄형으로 적분할 수 있다는 것이다. 트리 구조 사전은 각 에지에 대한 양의 가중치 w_{ij}를 정의하고, 트리 T의 확률을 ∏_{(i,j)∈T} w_{ij} 로 표현한다. 이때 전체 트리들의 합은 라플라시안 행렬 L의 마이너스 행렬식(det(L_{-i})) 으로 계산된다. Kirchhoff’s Matrix‑Tree Theorem을 이용해 O(n³) 시간에 모든 트리의 총 가중치를 구할 수 있다. 따라서 구조 사전은 “분해 가능”하다고 부를 수 있다. 두 번째 결과는 파라미터 사전에 대한 제약이다. Heckerman 등(1995)의 베이지안 네트워크 사전 가정(구조 독립성, 파라미터 독립성, 동일 변수에 대한 동일 사전)을 트리 모델에 그대로 적용하면, 각 변수의 조건부 확률표(CPT)는 독립적인 디리클레 분포의 곱으로 표현된다. 구체적으로, 변수 X_i가 부모 Pa(i) 를 가질 때, P(X_i | Pa(i)) 의 파라미터 θ_{i|pa} 는 Dir(α_{i|pa}) 로 사전이 지정된다. 이때 α는 사전 하이퍼파라미터이며, 트리 구조와 무관하게 동일하게 설정될 수 있다. 결과적으로 파라미터 사전 역시 “분해 가능”하며, 전체 사전은 구조 사전과 파라미터 사전의 곱 형태가 된다. 이 두 사전이 결합되면, 완전 관측 데이터 D = {x^{(1)},…,x^{(N)} } 가 주어졌을 때 사후 사전도 같은 형태를 유지한다. 구조 사후는 기존 에지 가중치 w_{ij} 에 데이터에 의해 업데이트된 새로운 가중치 w'_{ij}=w_{ij}·∏_{d} f_{ij}(x^{(d)}) 로 표현되고, 파라미터 사후는 각 CPT마다 디리클레 사후(α_{i|pa}+N_{i|pa}) 로 갱신된다. 따라서 사후를 구하는 과정이 폐쇄형이며, 복잡도는 구조 적분 O(n³) 와 파라미터 업데이트 O(N·|V|·|X|) 로 제한된다. 이론적 결과를 바탕으로 저자들은 새로운 잠재 변수 모델을 제안한다. “트리 구조 평균화 모델”은 데이터의 가능도를 모든 가능한 트리 구조에 대해 가중 평균을 취해 계산한다. 구체적으로, L(D) = Σ_{T∈𝒯} P(T)·P(D|T,θ_T) 로 정의되며, 여기서 P(T) 는 분해 가능 구조 사전, P(D|T,θ_T) 는 디리클레 사후를 이용한 마진 가능도이다. 이 모델은 숨겨진 변수 없이도 복잡한 상호작용을 포착할 수 있다. 실험에서는 합성 데이터와 실제 베이징 교통 네트워크 데이터를 사용하였다. 합성 실험에서는 트리 구조와 파라미터를 정확히 복원했으며, 기존 MCMC 기반 베이지안 트리 학습보다 10배 이상 빠른 실행 시간을 보였다. 실제 데이터에서는 트리 구조 평균화 모델이 기존 단일 트리 모델보다 로그 가능도가 평균 5% 향상되었고, 예측 정확도 또한 유의미하게 개선되었다. 결론적으로, 본 논문은 트리 베이지안 네트워크 학습을 정확하고 효율적으로 수행할 수 있는 이론적 토대를 제공한다. 구조와 파라미터에 대한 분해 가능 사전은 사후를 폐쇄형으로 유지시켜 복잡한 적분을 필요 없게 만들며, 이를 활용한 트리 구조 평균화 모델은 새로운 잠재 변수 접근법으로서 실용적 가치를 가진다. 향후 연구에서는 이 프레임워크를 일반적인 그래프(비트리) 구조나 부분 관측 데이터에 확장하는 방향이 제시된다.