변분 학습을 위한 가우시안 프로세스 잠재 변수 모델의 안일링 중요도 샘플링

초록

본 논문은 가우시안 프로세스 잠재 변수 모델(GPLVM)의 변분 추론을 강화하기 위해 안일링 중요도 샘플링(AIS)과 시간 비동질 비조정 라플라스 동역학을 결합한 V‑AIS‑GPLVM을 제안한다. 중간 분포를 단계적으로 변형하고 재파라미터화된 ELBO를 이용해 효율적인 스토캐스틱 그래디언트 최적화를 수행한다. 실험 결과, 기존 IW‑VI 기반 방법보다 더 타이트한 변분 하한, 높은 로그우도, 안정적인 수렴을 보인다.

상세 분석

본 연구는 기존 베이지안 GPLVM에서 중요도 가중 변분 추론(IW‑VI)이 고차원 잠재 공간에서 가중치 분산이 급증해 효율이 떨어지는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 저자들은 안일링 중요도 샘플링(AIS)의 원리를 GPLVM에 적용한다. 핵심 아이디어는 베이스 분포 q₀(H) 에서 목표 후방분포 p(H|X) 까지 K개의 브리징 분포 q_k(H) 를 정의하고, 각 단계마다 시간 비동질 비조정 라플라스 동역학(ULA)을 사용해 샘플을 전진한다. 라플라스 흐름은 ∇log q_k(H) 에 기반한 확산·드리프트 항을 포함하며, β_k 스케줄에 따라 베이스와 데이터 적합도 사이의 가중치를 조절한다. 이 과정에서 역전파 가능한 재파라미터화 기법을 적용해 ELBO를 샘플 기반으로 추정하고, log p(X) 에 대한 하한을 E_{q_fwd}