Gaussian 제한 볼츠만 머신의 평균장 추론: 두 가지 NMFA 비교

본 논문은 Gaussian Restricted Boltzmann Machine(GRBM)의 평균장(mean‑field) 추론 방법을 두 가지로 제시하고, 그 성능을 이론적·수치적으로 비교한다. 서론에서는 RBM이 딥러닝의 기본 구성요소이며, 학습 단계와 추론 단계가 구분된다는 점을 강조한다. 특히 연속형 가시 변수와 이산형 은닉 변수를 동시에 다루는 GRBM은 Gaussian‑Bernoulli RBM(GBRBM)의 일반화 형태로, 실제 연속 데이터 처리에 필수적이다. 기존 연구에서는 Gibbs 샘플링이나 단순 NMFA가 주로 사용되었지만, 고급 평균장 기법의 적용 가능성을 탐색하고자 한다. 2절에서는 GRBM의 수학적 정의를 제시한다. 가시 변수 v_i∈ℝ, 은닉 변수 h_j∈X(이산) 로 구성된 bipartite 그래프에서 에너지 함수는 E(v,h;θ)=½∑_i (v_i−b_i)^2/σ_i^2 − ∑_{i,j} w_{ij} v_i h_j/σ_i^2 − ∑_j c_j h_j 로 정의된다. 여기서 b_i, c_j는 편향, w_{ij}는 가시‑은닉 결합, σ_i^2는 가시 변수의 분산이다. 조건부 분포 P(v|h)와 P(h|v)는 각각 정규분포와 독립적인 이산 분포 형태이며, 이는 “조건부 독립성”이라는 중요한 특성을 제공한다. 은닉 변수만을 마진화하면 표준 이소링 모델 형태의 에너지 함수를 갖는 마진 분포 P(h) 를 얻는다. 3절에서는 두 종류의 NMFA를 도입한다. 3.1절(타입 I)에서는 전체 결합분포를 완전 팩터화 T₁(v,h)=∏_i q_i(v_i)∏_j u_j(h_j) 로 가정하고, KL 발산 K₁을 최소화한다. 변분 자유 에너지 F₁을 계산한 뒤, 라그랑주 승수를 이용해 q_i와 u_j의 최적 형태를 도출한다. 결과적으로 q_i^*(v_i) 는 평균 μ_i(m)와 분산 σ_i^2를 갖는 정규분포, u_j^*(h_j) 는 λ_j(ν) 를 매개변수로 하는 이산 분포가 된다. 이때 ν_i=μ_i(m), m_j=E_u