베이즈 구조 EM: 불완전 데이터에서 베이시안 네트워크를 학습하는 새로운 접근

** 본 논문은 베이시안 네트워크와 그 변형 모델을 불완전 데이터(결측값·숨은 변수) 환경에서 학습하는 새로운 방법론인 **베이즈 구조 EM**(Bayesian Structural EM) 알고리즘을 제시한다. 서론에서는 베이시안 네트워크 학습의 중요성과 기존 연구의 한계, 특히 결측 데이터와 숨은 변수가 존재할 때 구조 탐색이 어려워지는 문제점을 강조한다. 기존의 구조 EM은 EM 알고리즘과 구조 탐색을 결합했지만, 모델 선택 점수로 BIC·MDL과 같은 근사값을 사용해 베이시안 모델 선택의 정밀도가 떨어진다는 점을 지적한다. 본 논문의 핵심 기여는 세 가지이다. 첫째, **베이시안 점수 직접 최적화**이다. BDeu, BGe 등 완전한 베이시안 사후확률을 점수로 채택하고, 이를 최대화하도록 구조 탐색을 설계한다. 둘째, **수렴성 증명**이다. E‑step에서 현재 구조·파라미터 하에 결측 데이터의 기대 로그우도를 계산하고, M‑step에서 기대값을 고정한 채 베이시안 점수를 최대화하는 구조·파라미터를 선택한다. 이 두 단계가 각각 비감소함을 보이며, 전체 반복이 제한된 점수 공간에서 단조 증가하는 수열을 이루어 결국 수렴점에 도달함을 정리로 제시한다. 셋째, **범용 프레임워크**이다. 베이시안 네트워크뿐 아니라 동적 베이시안 네트워크, 혼합 베이시안 모델, 구조적 제약이 있는 모델에도 동일한 알고리즘을 적용할 수 있도록 구조 탐색 연산자를 일반화하고, 사전·가능도 계산을 모듈화한다. 알고리즘 절차는 다음과 같다. (1) 초기 구조와 파라미터를 설정한다. (2) **E‑step**: 현재 구조·파라미터 하에 결측값·숨은 변수의 사후분포를 추정하고, 기대 로그우도와 충분통계량을 계산한다. 이때 변분 근사, Gibbs 샘플링, 혹은 Importance Sampling 등 다양한 추정 기법을 사용할 수 있다. (3) **M‑step**: 기대 충분통계량을 이용해 베이시안 점수를 계산하고, 점수 향상을 보장하는 구조 변화를 탐색한다. 구조 탐색은 힐 클라이밍, 탭루 검색, 혹은 메타휴리스틱(예: 유전 알고리즘)으로 구현될 수 있다. (4) 점수 향상이 없을 때까지 (2)–(3) 과정을 반복한다. 수렴 증명은 두 단계에서 점수가 각각 **비감소**임을 보이는 라그랑주 승수와 Kullback‑Leibler 발산을 이용한 불등식으로 전개된다. E‑step에서는 기대 로그우도가 현재 파라미터에 대해 최적화되지 않음에도 불구하고, 기대값을 고정하면 M‑step에서 베이시안 점수가 비감소한다는 점을 이용한다. 따라서 전체 알고리즘은 **단조 증가**이며, 점수 공간이 유계이므로 수렴한다. 실험에서는 세 가지 데이터셋을 사용하였다. (1) **합성 데이터**: 10개의 변수와 3개의 숨은 변수를 가진 베이시안 네트워크를 생성하고, 30%~70%의 결측률을 적용하였다. 베이즈 구조 EM은 구조 회복률이 85% 이상으로, 기존 구조 EM(70% 이하)보다 크게 우수했다. (2) **의료 데이터**: 실제 환자 기록에 결측값이 다수 포함된 데이터셋으로, 베이즈 구조 EM은 진단 정확도를 12%p 향상시켰다. (3) **대규모 네트워크**: 100개 변수와 20개 숨은 변수를 가진 복잡한 네트워크에서, 병렬화된 베이즈 구조 EM은 48시간 내에 수렴했으며, 기존 방법은 72시간 이상 걸리면서도 점수가 낮았다. 한계점으로는 **계산 복잡도**가 E‑step에서 사후분포 추정에 크게 의존한다는 점이다. 특히 고차원 숨은 변수 공간에서는 샘플링 오차가 누적될 위험이 있다. 이를 완화하기 위해 저차원 변분 근사, 스파스 사전 설계, 그리고 GPU 기반 병렬 샘플링을 제안한다. 또한, 사전 선택이 결과에 미치는 영향을 정량화하기 위한 **사전 민감도 분석**이 필요하다. 결론에서는 베이즈 구조 EM이 베이시안 모델 선택을 정밀하게 수행하면서도 수렴성을 보장하는 강력한 도구임을 강조한다. 향후 연구로는 (1) 연속형 변수와 혼합형 변수에 대한 확장, (2) 온라인 학습 시나리오에서의 점진적 구조 업데이트, (3) 자동 사전 최적화 기법을 통한 모델 선택 자동화 등을 제시한다. 이러한 방향은 베이시안 네트워크를 포함한 다양한 확률 그래프 모델을 실제 복잡한 데이터 환경에 적용하는 데 중요한 발판이 될 것이다. **