잠재 변수 구조 방정식 모델을 위한 희소 가우시안 프로세스

초록

본 논문은 잠재 변수들 간의 비선형 인과 관계를 가우시안 프로세스(GP)로 모델링하고, 스파스(희소) 표현을 도입해 베이지안 추론을 효율적으로 수행한다. 기존 선형·비가우시안 구조 방정식 모델의 한계를 극복하고, 마코프 체인 몬테카를로(MCMC) 샘플링의 안정성을 확보하면서 예측 성능을 향상시킨다.

상세 분석

이 연구는 구조 방정식 모델(SEM)에서 잠재 변수(Latent Variable)를 직접 관측값이 아닌, 노이즈가 섞인 측정값으로 다루는 전통적 접근을 확장한다. 기존의 선형 SEM이나 비가우시안 독립성 가정에 의존하는 방법들은 복잡한 비선형 관계를 포착하기 어렵다. 저자들은 이러한 한계를 극복하기 위해 각 잠재 변수 간의 함수적 관계를 가우시안 프로세스(GP)로 정의한다. GP는 무한 차원의 함수 공간을 확률적으로 표현하므로, 비선형성뿐 아니라 불확실성까지 자연스럽게 모델링한다. 그러나 전통적인 GP는 O(N³) 복잡도로 대규모 데이터에 적용하기 힘들다. 이를 해결하기 위해 저자들은 inducing point 기반의 스파스 GP(희소 가우시안 프로세스)를 도입한다. 인덕션 포인트는 전체 데이터의 대표 집합으로, 커널 행렬의 차원을 크게 축소시켜 연산 비용을 O(M²N) (M≪N) 로 낮춘다.

베이지안 프레임워크 내에서 인덕션 포인트 위치와 하이퍼파라미터를 모두 사전분포와 함께 샘플링함으로써 완전한 후방분포를 얻는다. 특히, 저자들은 Gibbs 샘플링과 Metropolis‑Hastings를 결합한 효율적인 MCMC 스키마를 설계했으며, 이는 각 단계에서 조건부 분포가 닫힌 형태로 계산 가능하도록 구조화했다. 이 과정에서 잠재 변수의 사후분포는 비선형 변환을 거친 후에도 정규분포 형태를 유지하도록 설계돼, 샘플링의 수렴 속도와 안정성을 크게 향상시킨다.

실험에서는 합성 데이터와 실제 사회·경제 데이터셋을 사용해 기존의 선형 SEM, 비가우시안 ICA 기반 SEM, 그리고 표준 GP‑LVM과 비교했다. 결과는 제안 모델이 복잡한 비선형 인과 구조를 정확히 복원하고, 예측 오차가 현저히 낮으며, MCMC 체인의 자동 수렴 진단 지표(예: R̂)가 모두 1에 근접함을 보여준다. 또한, 인덕션 포인트 수를 조절함으로써 모델 복잡도와 계산 비용 사이의 트레이드오프를 유연하게 제어할 수 있다.

이 논문의 주요 기여는 (1) 잠재 변수 간 비선형 인과 관계를 GP로 일반화한 새로운 SEM 프레임워크, (2) 스파스 GP를 통한 베이지안 추론의 계산 효율성 확보, (3) 완전 베이지안 MCMC 구현으로 샘플링 안정성 및 예측 정확도 향상이다. 향후 연구에서는 다중 그룹 구조, 시간적 동적 SEM, 그리고 비정형 데이터(예: 이미지, 텍스트)와의 통합을 탐색할 여지가 있다.