베이지안 네트워크 학습을 위한 결정 그래프 기반 베이지안 접근

본 논문은 베이지안 네트워크(Bayesian Network, BN)의 조건부 확률 분포(CPD)를 보다 효율적으로 표현하기 위해 결정 그래프(decision‑graph)라는 일반화된 구조를 도입하고, 이를 기반으로 한 베이지안 학습 프레임워크를 제시한다. 1. **배경 및 동기** 기존 연구는 주로 결정 트리(decision‑tree)를 사용해 CPD의 파라미터 동등성 제약을 압축하였다. 그러나 결정 트리는 트리 형태에 제한되어, 복잡한 동등성 관계를 표현하는 데 한계가 있다. 또한 대부분의 학습 방법이 MDL(Minimum Description Length)과 같은 비베이지안 점수를 사용했으며, 이는 사전 지식과 불확실성 표현에 한계가 있다. 2. **결정 그래프 정의** - 결정 그래프는 결정 트리와 동일하지만, 비루트 노드가 다중 부모를 가질 수 있다. - 각 리프는 하나의 파라미터 집합 Θ_{a,b} 를 저장하며, 동일한 파라미터를 여러 부모 조합에 공유할 수 있다. - 완전 트리를 리프를 병합함으로써 임의의 동등성 제약을 표현한다(예: Θ_{i,j}=Θ_{i,j'}). - 그래프는 x_i 자체를 분할 변수로 사용하지 않는 한, 전통적인 베이지안 네트워크 구조와 호환된다. 3. **베이지안 점수 유도** - 데이터베이스 D는 교환 가능한 샘플이며, 구조 가설 B_hS는 전역 구조 G와 로컬 구조 M(또는 D_i) 로 구성된다. - 사후 확률 p(B_hS|D) ∝ p(D|B_hS)·p(B_hS) 로 정의하고, 마진 가능도 p(D|B_hS)를 적분해 닫힌 형태로 만든다. - 두 핵심 가정: (1) 파라미터 독립성(각 리프 파라미터 집합이 서로 독립) (2) 디리클레 사전(각 파라미터 집합에 대해 Dirichlet 분포). - 카운트 N_{a,b,c} 를 정의하고, 감마 함수(Γ)를 이용해 점수 식 (5)를 도출한다. 식은 노드 분해 가능(node‑decomposable) 형태이며, 이는 전역 구조 탐색 시 로컬 업데이트를 효율적으로 수행할 수 있게 한다. - 사전 p(B_hS) 로는 (a) 균일 사전, (b) 파라미터 수에 비례한 κ‑제어 사전(p(B_hS)∝κ^{|Θ|})을 사용한다. κ=1이면 균일, 0<κ<1이면 간결한 모델을 선호한다. 4. **탐색 공간 설계** - **전역 구조 탐색**: DAG G만을 변형(노드 추가·삭제·반전)하고 로컬 구조는 고정. - **로컬 구조 탐색**: 각 노드의 M_i 를 결정 트리에서 결정 그래프로 확장, 리프 병합·분할 연산을 통해 파라미터 공유를 조정. - **복합 탐색**: 전역·로컬 변형을 동시에 고려, 탐욕적 hill‑climbing 방식으로 점수 향상이 있으면 적용. - 모든 탐색은 노드 분해 가능 점수를 이용해 로컬 점수만 계산하면 전체 점수 변화를 알 수 있다. 5. **실험** - 합성 데이터와 실제 도메인(의료 진단, 교통 흐름, 텍스트 분류 등)에서 3가지 탐색 공간을 비교. - 평가 지표: 로그 베이지안 점수, 파라미터 수, 예측 정확도(교차 검증). - 결과: 결정 그래프를 허용한 모델이 동일 데이터에 대해 파라미터 수를 평균 30~50% 감소시키면서 로그 점수와 정확도 모두 향상. - κ‑제어 사전은 과적합을 억제하고, κ를 0.5~0.8 범위에서 설정했을 때 가장 좋은 균형을 보였다. - 복합 탐색 공간이 가장 높은 성능을 기록했으며, 전역 구조만 변형하거나 로컬 구조만 변형하는 경우보다 우수했다. 6. **결론 및 향후 연구** - 결정 그래프를 이용한 베이지안 네트워크 학습은 파라미터 효율성, 모델 간결성, 그리고 베이지안 불확실성 표현 측면에서 기존 방법을 능가한다. - 향후 연구 방향으로는 (1) 연속형 변수에 대한 결정 그래프 확장, (2) 사전 하이퍼파라미터 α_{abc} 를 데이터 기반으로 자동 학습, (3) 메타휴리스틱(예: 진화 알고리즘, MCMC) 기반 전역·로컬 공동 최적화, (4) 대규모 데이터셋에 대한 분산 구현 등을 제시한다. 본 논문은 베이지안 네트워크 학습에 있어 로컬 구조의 일반화와 정확한 베이지안 점수 유도를 결합함으로써, 이론적 엄밀성과 실용적 효율성을 동시에 달성한 중요한 연구이다.