이산·연속 잠재 변수를 위한 변분 근사 베이지안 네트워크

** 본 논문은 베이지안 네트워크(BN)에서 이산 노드가 연속 부모를 가질 때 발생하는 비선형 로지스틱 조건부 확률을 효율적으로 근사하는 새로운 변분 프레임워크를 제시한다. 기존 방법들은 주로 마르코프 체인 몬테카를로(MCMC) 샘플링이나 라플라스 근사에 의존했으며, 특히 이산-연속 혼합 구조에서는 샘플링이 고비용이고 라플라스 근사는 정확도가 떨어지는 문제가 있었다. 이를 해결하기 위해 저자들은 로지스틱 함수에 대한 변분 하한을 도입하고, 이를 가우시안 형태로 변환함으로써 기존 가우시안 메시지 전파 알고리즘과 호환되는 새로운 메시지 전달 규칙을 개발하였다. 핵심 아이디어는 Jaakkola와 Jordan이 제시한 변분 하한을 이용해 로지스틱 함수를 아래와 같이 근사하는 것이다. σ(x) ≥ σ(ξ) exp{(x−ξ)/2 − λ(ξ)(x²−ξ²)} , λ(ξ)=½·(σ(ξ)−½)/ξ. 여기서 ξ는 변분 파라미터이며, 이 식은 x에 대한 가우시안 형태를 제공한다. 따라서 이산 노드의 조건부 확률을 연속 부모와 결합한 뒤, 가우시안 잠재 변수에 대한 표준 베이지안 네트워크 추론 절차(예: 클러스터 트리, 조인트 트리)를 그대로 적용할 수 있다. 알고리즘은 두 단계로 구성된다. 첫 번째 E‑step에서는 현재 ξ 값을 고정하고, 변분된 가우시안 네트워크에 대해 정확한 메시지 전파를 수행한다. 이 단계에서 얻은 마진 분포는 각 이산-연속 연결에 대한 기대값을 제공한다. 두 번째 M‑step에서는 각 연결마다 ξ를 업데이트한다. ξ는 기대값을 이용해 λ(ξ)를 재계산하고, 새로운 ξ를 찾는 최적화 문제를 풀어야 하는데, 이는 단일 변수 1차 방정식이므로 뉴턴‑라프슨 방법으로 빠르게 수렴한다. 전체 알고리즘은 EM‑유사 구조를 가지며, 각 반복마다 로그우도 하한이 비감소함을 보장한다. 증거 처리 측면에서 저자들은 기존 BN이 점 증거만을 허용하는 한계를 넘어, 관측 노드에 임의의 연속 분포(예: 가우시안 혼합, 베타 분포)를 직접 삽입할 수 있는 방법을 제안한다. 관측 분포를 가우시안 혼합으로 근사하고, 각 혼합 성분에 대해 변분 파라미터를 별도로 유지함으로써 전체 네트워크에 대한 일관된 메시지 전파가 가능해졌다. 이 접근법은 특히 센서 데이터와 같이 잡음이 큰 연속 관측값을 다루는 실시간 시스템에 유리하다. 실험에서는 네 가지 베이지안 네트워크를 사용하였다. 첫 번째는 표준 베이지안 네트워크인 Alarm와 Asia로, 이산 변수와 연속 변수가 적은 환경에서 변분 근사의 정확성을 검증하였다. 두 번째는 합성 네트워크로, 이산 변수의 카디널리티를 2, 10, 100, 500까지 확대하여 변분 방법과 Gibbs 샘플링, 라플라스 근사를 비교하였다. 결과는 다음과 같다. (1) 평균 절대 오차(MAE)와 KL 발산 측면에서 변분 방법은 샘플링과 동등하거나 더 우수했다. (2) 실행 시간은 평균 5배~30배 가량 단축되었으며, 메모리 사용량도 크게 증가하지 않았다. (3) 카디널리티가 100을 초과하는 경우에도 변분 근사는 수렴 속도가 급격히 감소하지 않아 실시간 추론에 적합했다. 또한, 관측 분포가 복잡한 경우(예: 다중 모드 가우시안)에도 변분 근사는 정확한 모멘트 추정을 제공했으며, 기존 점 증거만을 허용하는 방법에 비해 예측 정확도가 평균 12% 향상되었다. 저자들은 이 변분 프레임워크가 구조적 학습 단계에서도 활용될 수 있음을 언급했으며, 변분 파라미터를 구조 점수에 포함시켜 모델 선택 과정에서도 효율성을 기대한다. 결론적으로, 변분 근사는 이산·연속 혼합 베이지안 네트워크에서 로지스틱 조건부 확률을 가우시안 형태로 변환함으로써 정확도와 효율성을 동시에 달성한다. 새로운 증거 처리 기법은 관측값의 분포적 다양성을 포괄하며, 대규모 실시간 시스템에 적용 가능한 실용적인 솔루션을 제공한다. 향후 연구에서는 변분 하한을 더 일반적인 비선형 함수(예: 소프트맥스)로 확장하고, 구조 학습과 결합한 전역 최적화 방법을 탐색할 계획이다. **