구조 학습을 위한 계층적 사전 모델

초록

이 논문은 변수들이 클래스에 속하고 클래스 간 연결 확률만으로 그래프 구조를 정의하는 비모수적 사전 모델을 제안한다. MCMC를 이용해 클래스 수, 변수‑클래스 할당, 그리고 베이즈망 구조를 동시에 추정함으로써, 작은 데이터셋에서도 체계적인 연결 패턴을 활용해 전통적인 균일 사전보다 정확한 구조를 학습한다. 실험 결과, 발견된 클래스는 실제 도메인 구분과 일치하며, 학습된 네트워크는 정밀도와 재현율 모두에서 우수함을 보인다.

상세 분석

본 연구는 베이즈 네트워크 구조 학습에 있어 기존의 ‘희소성만을 가정하는’ 접근법을 넘어, 변수들이 의미 있는 클래스에 속하고 클래스 간 연결 확률이 일정하다는 가정을 도입한다. 이를 위해 저자들은 비모수적 디리클레 과정(Dirichlet Process)을 활용한 계층적 베이지안 모델을 설계했으며, 변수‑클래스 할당은 중국 레스토랑 프로세스와 유사한 방식으로 무한히 많은 잠재 클래스 공간을 탐색한다. 핵심 아이디어는 두 변수의 클래스가 주어지면 그 사이에 에지가 존재할 사전 확률이 클래스 쌍에만 의존한다는 점이다. 이렇게 하면 데이터가 부족할 때도 클래스 수준에서 강력한 규제가 작용해 과적합을 방지한다.
MCMC 샘플링 단계는 크게 세 부분으로 나뉜다. 첫째, 현재 구조와 클래스 할당을 고정하고 에지 존재 여부를 베타-베르누이 사후분포에 따라 업데이트한다. 둘째, 클래스 할당을 재샘플링하는데, 이는 기존 할당을 유지하거나 새로운 클래스를 생성하는 메트로폴리탄-헤이스팅스 제안을 사용한다. 셋째, 전체 그래프가 DAG 조건을 만족하도록 위배되는 에지를 제거하거나 재배열하는 ‘위상 정렬 기반’ 제안을 적용한다. 이러한 순환적 샘플링은 클래스 수, 클래스 구성, 그리고 네트워크 구조를 동시에 수렴시킨다.
실험에서는 5~10개의 변수로 구성된 합성 데이터와, 유전 발현, 사회 과학 설문 등 실제 도메인에서 추출한 희소 데이터셋을 사용했다. 평가 지표는 구조 Hamming distance, 정확도, 재현율, 그리고 AUC‑PR을 포함한다. 결과는 제안 모델이 균일 사전 대비 평균 12%18%의 구조 오류 감소와 0.050.09의 AUC 향상을 달성함을 보여준다. 특히 데이터 샘플 수가 50 이하로 감소할 때 성능 격차가 크게 벌어지는 것이 눈에 띈다. 클래스 추정 결과는 도메인 전문가가 정의한 그룹과 높은 상관관계를 보였으며, 이는 모델이 실제 의미 있는 구조적 패턴을 포착함을 의미한다.
이 논문은 베이즈 네트워크 학습에 구조적 사전 지식을 체계적으로 도입하는 방법을 제시함으로써, 작은 데이터 환경에서도 신뢰성 있는 인과 모델을 구축할 수 있음을 증명한다. 또한 비모수적 클래스 모델링과 DAG 제약을 동시에 다루는 MCMC 설계는 향후 복합 도메인에 대한 확장 가능성을 열어준다.