가우시안 마코프 모델의 모든 것: 방향성·무방향성 조건부 독립성 종합 리뷰

본 논문은 다변량 정규분포를 기반으로 한 마코프 모델, 즉 무방향 마코프 랜드(Undirected Markov Random Fields)와 유향 비순환 마코프 필드(Directed Acyclic Graphs, Bayesian Networks)를 포괄적으로 정리한다. 서론에서는 마코프 모델이 통계적 독립성과 그래프 이론 사이의 다리 역할을 한다는 점을 강조하고, 두 모델 클래스가 서로 유사하지만 동일하지 않으며, 공통 부분을 갖는다는 점을 명시한다. 2절에서는 역사적 흐름을 조명한다. 1970년대 Anderson과 Dempster가 제시한 공분산 선택(covariance selection) 개념이 무방향 가우시안 마코프 모델의 시초이며, Wermuth가 이를 그래프 구조와 연결시켜 ‘무방향 마코프 랜드’라는 용어가 정착되었다. 반면, Howard와 Matheson이 제시한 인플루언스 다이어그램이 유향 모델의 출발점이었고, Pearl이 이를 ‘베이지안 네트워크’라 명명하면서 인공지능 분야에서 급속히 확산되었다. 두 전통은 1980년대 이후 서로 교차 연구가 진행됐으며, Sadeghi와 Lauritzen(2014), Wermuth(2015) 등은 고차 모델(예: 혼합 그래프, 체인 그래프) 안에서 두 모델을 통합적으로 바라보는 틀을 제시했다. 3절에서는 그래프 이론의 기본 개념을 정리한다. 정점·간선, 클리크, 분리, 차일드·페어런트, v‑구조, 도덕적 그래프(moral graph) 등 무방향·유향 그래프 모두에 적용되는 정의를 제시하고, 무방향 그래프는 ‘chordal’(완전 순환) 특성을 통해 분해 가능성을 보인다. 유향 그래프에서는 ‘d‑separation’이 조건부 독립성을 결정하는 핵심 메커니즘이며, 이를 무방향 그래프로 변환한 도덕적 그래프를 통해 동일한 독립성 관계를 표현한다. 4절에서는 마코프 독립성 관계와 graphoid·semi‑graphoid 체계에 대해 논한다. 무방향 그래프가 유도하는 독립성은 graphoid 성질을 만족하고, 확률분포가 연속적이고 양의 밀도를 가질 경우 전역, 쌍별, 지역 마코프 성질이 동등함을 Hammersley‑Clifford 정리로 증명한다. 유향 그래프에서는 d‑separation이 semi‑graphoid을 만족하지만, 전역 마코프 성질을 보장하려면 추가적인 ‘faithfulness’ 가정이 필요하다. 5절에서는 가우시안 파라미터화를 도입한다. 다변량 정규분포의 평균과 공분산을 그래프 구조와 연결시켜, 무방향 그래프에서는 공분산 행렬의 영(0) 원소가 결여된 간선에 대응하고, 유향 그래프에서는 회귀 계수와 잔차 공분산이 구조적 제약을 반영한다. 이때 두 모델은 동일한 조건부 독립성 집합을 표현할 수 있지만, 역전파(역방향) 구조와 순환성 차이로 인해 완전한 동등성은 성립하지 않는다. 6절은 최대우도 추정(MLE)에 초점을 맞춘다. 무방향 가우시안 마코프 랜드에서는 로그우도 함수를 공분산 행렬에 대해 미분해 최적화 문제를 풀며, 완전 그래프에서는 해가 존재하지만 희소 그래프에서는 해가 존재하지 않을 수 있다. 이를 해결하기 위해 L1 정규화(그래프 라소, Graphical Lasso)와 같은 페널티 기반 방법을 도입한다. 유향 모델에서는 각 노드에 대한 선형 회귀(조건부 평균)와 잔차 공분산을 별도로 추정하고, 구조적 제약을 반영하기 위해 점진적 전진/후진 선택(stepwise)이나 스코어 기반 탐색(BIC 스코어) 등을 사용한다. 7절에서는 가설 검정을 통한 모델 선택을 다룬다. 차이 검정(Likelihood Ratio Test)과 카이제곱 근사, 그리고 BIC/AIC와 같은 정보 기준을 이용해 그래프 구조를 비교한다. 무방향 경우에는 차수(도수) 제한이 있는 경우 자유도 계산이 복잡해지며, 유향 경우에는 DAG의 순서성 때문에 가능한 구조 공간이 급격히 늘어나므로 탐색 알고리즘(예: K2, PC 알고리즘)이 필요하다. 8절은 정규화와 희소성 촉진 기법을 심도 있게 논한다. 무방향 모델에서는 Graphical Lasso, SCAD, MCP 등 비선형 페널티를 적용해 정확도와 해석성을 동시에 확보한다. 유향 모델에서는 L1‑penalized 회귀(Lasso), Elastic Net, Bayesian Lasso 등을 사용해 부모 집합을 선택한다. 또한, 교차 검증, stability selection, EBIC와 같은 모델 선택 기준을 통해 과적합을 방지한다. 9절은 베이지안 접근을 제시한다. 공분산 행렬에 대한 G‑Wishart 사전분포, 회귀 계수에 대한 스파스 사전(Spike‑and‑Slab, Horseshoe) 등을 도입해 사후 분포를 MCMC 혹은 변분 베이지안(VB)으로 추정한다. 베이지안 방법은 불확실성 정량화와 사전 지식 반영에 강점이 있으며, 구조적 불확실성을 그래프 후방 확률로 직접 평가한다. 10절에서는 가우시안 마코프 모델이 더 높은 차원의 모델(예: 혼합 그래프, 체인 그래프, 다중 레이어 네트워크) 안에서 어떻게 포함되는지를 논한다. 무방향 모델은 체인 그래프의 마코프 속성을 만족하고, 유향 모델은 혼합 그래프의 DAG 부분으로 해석될 수 있다. 이러한 포함 관계는 모델 선택 시 ‘모델 계층’(model hierarchy)을 고려하도록 유도한다. 11절은 가우시안 가정의 완화 방안을 다룬다. 비정규성, 중첩된 분포, 멀티모달 구조를 다루기 위해 t‑분포, 스케일 혼합 정규분포, 비모수적 커널 방법 등을 제안한다. 또한, 비선형 관계를 포착하기 위해 구조 방정식 모델(SEM)과 Gaussian Process 기반 확장도 논의한다. 12절은 실제 응용 사례를 정리한다. 유전학(유전자 발현 네트워크), 뇌영상(fMRI 연결성 분석), 금융(자산 공분산 추정), 환경 과학(기후 변수 상호작용), 자연어 처리(단어 공동 발생 모델) 등 다양한 분야에서 가우시안 마코프 모델이 활용되고 있음을 보여준다. 특히, 고차원 저표본 상황에서 정규화·베이지안 기법이 실용성을 크게 향상시킨다. 결론에서는 두 모델 클래스의 공통점과 차이점을 요약하고, 향후 연구 방향으로는 비가우시안·비선형 확장, 고차원·동적 그래프 모델, 그리고 인과 추론과의 통합을 제시한다.