숨은 변수와 베이시안 네트워크를 위한 새로운 BIC 차원 해석

본 논문은 베이시안 네트워크 구조 학습에서 관측되지 않은 숨은 변수가 존재할 때, 기존의 베이시안 정보 기준(BIC)을 어떻게 확장할 수 있는지를 체계적으로 탐구한다. 서론에서는 베이시안 네트워크 학습이 두 가지 주요 접근법—독립성 검정 기반 탐색과 점수 기반 탐색—으로 나뉘며, 특히 점수 기반 방법인 모델 선택이 실제 적용에 유리함을 강조한다. 그러나 숨은 변수가 포함된 경우, 가능한 네트워크 구조가 무한히 많아지고, 각 구조에 대한 점수 계산이 복잡해지는 문제점이 있다. 이를 해결하고자 저자들은 베이시안 관점에서 마진 우도(p(D|S))를 근사하는 새로운 BIC 형태를 제시한다. 2절에서는 베이시안 네트워크의 기본 표기법과 기존 BIC(식 1)의 유도 과정을 요약한다. 여기서는 데이터가 충분히 크면 마진 우도는 로그-우도 최대값에서의 라플라스 근사와 파라미터 차원(d)의 로그(N) 항으로 구성된다는 점을 재확인한다. 이때 d는 파라미터 총수와 동일하게 정의된다. 3절에서는 라플라스 방법을 이용해 숨은 변수가 없는 경우의 BIC를 다시 유도한다. 로그-우도 함수를 θ에 대해 2차 테일러 전개하고, 헤시안 행렬이 양의 정부호임을 보이며, 정규분포 근사를 통해 로그 마진 우도가 log p(D|θ̂) − (d/2) log N 형태가 됨을 증명한다. 이 과정에서 파라미터 독립성, 디리클레 사전 등 기존 가정이 필요 없으며, 오직 최대우도 근처에서의 국소 곡률만이 핵심임을 강조한다. 4절은 숨은 변수가 포함된 경우로 전환한다. 숨은 변수가 있으면 로그-우도 함수가 하나의 피크가 아니라 ‘리드(ridge)’ 형태를 가질 수 있다. 예시로 H→X 구조에서 H가 숨겨진 경우를 들어, 관측 변수 X에 대한 조건부 확률이 θ_h와 θ_{x|h}의 조합 w 로 축소됨을 보여준다. 이때 실제 자유도는 하나뿐이며, 이는 파라미터 공간이 관측 공간에 매핑될 때 차원 감소가 일어남을 의미한다. 핵심 아이디어는 전체 파라미터 θ와 관측 변수 파라미터 W 사이의 매핑 g:θ→W가 다항식이며, 작은 근방에서는 선형 근사 J(θ)·(θ−θ̂) 로 표현된다는 점이다. 여기서 J(θ)=∂W/∂θ 가 야코비안 행렬이며, 그 랭크(rank) d가 ‘효과적 차원’이 된다. 정리 1에 따르면, 대부분의 θ에 대해 이 랭크는 일정한 상수 d이며, 이를 모델 차원으로 정의한다. 따라서 라플라스 근사 결과는 log p(D|S) ≈ log p(D|θ̂) − ½ rank(J(θ̂)) log N 가 된다(식 10). 이 식은 기존 BIC와 형태는 동일하지만, 차원 d가 파라미터 총수가 아니라 야코비안 랭크라는 점에서 차별된다. 5절에서는 구체적인 네트워크에 대해 차원을 계산한다. 나이브 베이즈 모델(숨은 클래스 노드)에서는 클래스 변수가 K개의 상태를 가질 때, 전체 파라미터 수는 K·∑_i(r_i−1) 이지만, 야코비안 랭크는 K−1 + ∑_i(r_i−1) 로 감소한다. 이는 클래스 변수 자체가 관측 분포에 대해 K−1 자유도만을 제공한다는 직관과 일치한다. 또한, AutoClass에서 사용되는 점수 함수가 asymptotically p(S|D)와 차이가 날 수 있음을 실험적으로 보여준다. 6절에서는 가우시안 혼합 모델과 시그모이드(베이시안 로지스틱) 네트워크에 대한 확장을 논한다. 가우시안 경우, 평균과 공분산 파라미터가 숨은 변수와 결합될 때도 야코비안 랭크를 통해 차원을 정확히 파악할 수 있다. 시그모이드 네트워크에서는 비선형 활성화 함수가 포함되지만, 매핑이 여전히 다항식(또는 유리식) 형태이므로 동일한 이론을 적용할 수 있다. 7절과 8절에서는 실험적 검증과 결론을 제시한다. 실험에서는 다양한 숨은 변수 구조에 대해 BIC 확장판과 기존 BIC, AutoClass 점수를 비교했으며, 제안된 방법이 실제 데이터에서 더 일관된 모델 선택을 제공함을 확인한다. 결론에서는 차원 정의의 일반성, 라플라스 근사의 강건성, 그리고 향후 연구 방향(비다항식 매핑, 비정규 사전 등)을 제시한다. 전체적으로 이 논문은 베이시안 네트워크에서 숨은 변수가 존재할 때 모델 복잡도를 정확히 측정하는 새로운 이론적 틀을 제공한다. 파라미터와 관측 분포 사이의 매핑을 야코비안 랭크로 정량화함으로써, 기존 BIC의 한계를 극복하고, 다양한 실용적 모델(나이브 베이즈, 가우시안 혼합, 시그모이드 네트워크 등)에 적용 가능한 일반적인 방법론을 제시한다. 이는 대규모 데이터 환경에서 효율적이고 신뢰할 수 있는 구조 학습을 가능하게 하는 중요한 진전이다.