가우시안 프로세스 네트워크를 이용한 연속형 베이즈 구조 학습

** 본 논문은 연속형 변수들로 구성된 베이즈 네트워크(Bayesian Network, BN)의 구조 학습을 위한 새로운 접근법을 제시한다. 기존의 연속형 BN은 주로 다변량 정규분포와 같은 파라메트릭 모델을 사용하여 변수 간의 관계를 선형 혹은 단순한 비선형 형태로 가정한다. 이러한 가정은 실제 데이터에서 흔히 관찰되는 복잡하고 비선형적인 의존성을 충분히 설명하지 못한다는 한계가 있다. 이를 해결하기 위해 저자들은 가우시안 프로세스(Gaussian Process, GP)를 각 노드의 조건부 확률분포에 사전으로 도입한다. GP는 함수 공간에 대한 확률적 사전으로, 커널 함수를 통해 입력 공간의 유사성을 정의하고, 관측된 데이터에 대해 베이지안 업데이트를 수행한다. 커널 선택에 따라 다양한 형태의 비선형 관계를 유연하게 모델링할 수 있으며, 사후 예측분포는 정규분포 형태를 유지한다는 장점이 있다. 구체적으로, 변수 X_i와 그 부모 집합 Pa(i) 사이의 관계를 GP 회귀 모델로 설정한다. 입력은 Pa(i)의 값, 출력은 X_i이며, GP의 평균 함수와 공분산 함수(커널)를 정의한다. 이때 사용되는 커널은 일반적으로 RBF(방사형 기저 함수) 커널이지만, 문제에 따라 Matern, Polynomial, Spectral 등 다양한 커널을 선택할 수 있다. GP 회귀의 사후 예측분포는 정규분포이므로, 각 노드에 대한 주변가능도(marginal likelihood)를 정확히 계산할 수 있다. 전체 네트워크의 주변가능도는 각 노드의 주변가능도의 곱으로 표현되며, 이는 베이즈 프레임워크에서 구조 점수(score)로 활용된다. 구조 탐색은 기존의 스코어 기반 탐색 알고리즘과 동일하게 적용한다. 저자들은 Greedy Search, Hill Climbing, Tabu Search 등 다양한 탐색 전략을 실험에 적용했으며, 각 후보 구조에 대해 GP 회귀를 수행해 구조 점수를 계산한다. GP 회귀는 계산 비용이 상대적으로 높기 때문에, 저자들은 효율성을 위해 다음과 같은 최적화 기법을 도입한다. 1. **커널 파라미터 고정 및 사전 학습**: 전체 데이터에 대해 커널 하이퍼파라미터를 사전 학습하거나, 경험적 베이지안 방법을 통해 고정한다. 이렇게 하면 각 후보 구조마다 커널 파라미터를 재학습할 필요가 없어 계산량이 크게 감소한다. 2. **증분식 업데이트**: 구조 탐색 과정에서 부모 집합이 조금씩 변할 때, 기존 GP 모델의 사후분포를 재활용해 새로운 모델을 빠르게 업데이트한다. 이는 특히 Greedy Search와 같은 로컬 탐색에서 유용하다. 3. **베이지안 최적화**: 구조 점수 계산이 비용이 큰 경우, 베이지안 최적화(BO)를 이용해 후보 구조를 효율적으로 샘플링한다. BO는 현재까지 평가된 구조들의 점수를 기반으로 다음 탐색할 구조를 선택한다. 실험은 두 가지 주요 영역에서 수행되었다. 첫 번째는 인공 데이터셋으로, 변수들 간에 사인, 다항식, 지수, 로그 등 다양한 비선형 함수를 포함하도록 설계하였다. 이 경우, 기존의 가우시안 BN(선형 회귀 기반)과 선형 회귀 기반 BN은 실제 관계를 제대로 포착하지 못해 구조 정확도와 로그가능도가 낮았다. 반면, 제안된 GPN은 거의 완벽에 가까운 구조 복원률을 보였으며, 특히 노이즈가 존재하는 상황에서도 강인한 성능을 유지했다. 두 번째는 실제 도메인 데이터셋으로, 환경 센서 네트워크(온도, 습도, 대기압 등), 생물학적 측정값(유전자 발현, 단백질 농도) 및 재무 데이터(주가, 거래량) 등을 사용하였다. 이러한 데이터는 변수 간에 복합적인 비선형 상호작용이 존재하며, 기존 방법으로는 중요한 인과 관계를 놓치기 쉽다. GPN은 기존 방법보다 높은 로그가능도와 예측 정확도를 기록했으며, 도출된 네트워크 구조는 도메인 전문가들의 사전 지식과도 높은 일치성을 보였다. 특히, 환경 데이터에서는 온도와 습도 사이의 비선형 상호작용, 생물학 데이터에서는 특정 유전자와 단백질 사이의 비선형 조절 관계를 성공적으로 발견하였다. 논문은 또한 GPN의 확장 가능성을 논의한다. 현재 제안된 모델은 각 노드가 단일 연속형 변수를 출력하는 경우에 초점을 맞추었지만, 다중 출력 GP(다변량 회귀)를 적용하면 하나의 노드가 여러 변수를 동시에 설명할 수 있다. 이는 복합적인 시스템(예: 다중 센서 네트워크)에서 유용하다. 또한, 비가우시안 커널(예: 스펙트럴 커널, 딥 커널)을 도입하면 주기성, 비정상성, 고차원 상호작용 등을 더 정교하게 모델링할 수 있다. 마지막으로, 저자들은 GPN이 베이즈 네트워크의 해석 가능성을 유지하면서도, 비선형 회귀 모델의 유연성을 제공한다는 점에서 실용적 가치가 크다고 강조한다. 구조 점수는 정확히 계산되므로 모델 선택이 통계적으로 타당하고, 사후 예측분포를 통해 불확실성 추정도 가능하다. 따라서 의사결정 지원, 원인 분석, 시뮬레이션 등 다양한 응용 분야에서 GPN을 활용할 수 있다. **