다변량 슬라이스 샘플링의 새로운 접근 수축 차원 방법

초록

수축 차원 방법은 로그밀도 그래디언트를 이용해 현재 슬라이스를 고차원 가우시안으로 근사하고, 거부된 제안점의 그래디언트 방향에 직교하도록 차원을 점차 축소한다. 이 과정은 슬라이스의 가장 긴 축을 빠르게 찾아내어 샘플 간 상관성을 크게 감소시킨다. 실험 결과는 기존 방법들보다 효율성이 우수함을 보여준다.

상세 분석

수축 차원(Shrinking‑Rank) 방법은 기존 슬라이스 샘플링의 한계를 보완하기 위해 고안된 변형 알고리즘이다. 핵심 아이디어는 현재 슬라이스(즉, 로그밀도 f(x) ≥ y, 여기서 y는 균등히 추출된 높이) 를 다변량 정규분포로 근사하고, 이 정규분포가 차지하는 서브스페이스의 차원을 점진적으로 감소시키는 것이다. 차원을 감소시키는 기준은 “거부된 제안점의 그래디언트가 슬라이스 외부를 가리키는 경향”이라는 관찰에 기반한다. 구체적으로, 제안점 z 가 현재 슬라이스 밖이면 ∇log π(z) 를 계산하고, 이 벡터와 직교하는 방향을 새로운 서브스페이스에서 제거한다. 이렇게 하면 서브스페이스는 점점 슬라이스 내부의 가장 긴 축에 정렬되며, 제안 분포는 그 축을 따라 넓게 퍼지고 다른 방향은 좁아진다. 결과적으로 제안이 슬라이스에 들어갈 확률이 크게 증가하고, 체인 간 상관성이 감소한다.

알고리즘은 다음 단계로 구성된다. (1) 현재 상태 x 와 로그밀도 ℓ(x) 를 계산하고, 균등 난수 u∈(0,1) 을 이용해 슬라이스 높이 y=ℓ(x)+log u 을 정한다. (2) 초기 서브스페이스는 전체 차원 d 이며, 제안 분포는 평균 x 와 공분산 σ²I 인 정규분포이다. (3) 제안을 샘플링하고, ℓ(z)≥y이면 수락하고 다음 단계로 이동한다. (4) ℓ(z)<y이면 ∇ℓ(z) 를 구하고, 현재 서브스페이스에서 ∇ℓ(z) 와 직교하는 방향을 제거한다(즉, 차원을 d→d−1 감소). (5) 감소된 서브스페이스에서 새로운 공분산을 재구성하고, 다시 제안을 시도한다. 이 과정을 슬라이스에 들어갈 때까지 반복한다.

수축 차원 방법은 두 가지 중요한 가정을 전제로 한다. 첫째, 로그밀도의 그래디언트를 효율적으로 계산할 수 있어야 한다는 점이다. 둘째, 슬라이스가 비교적 “타원형” 형태를 띠며, 가장 긴 축이 명확히 존재한다는 전제다. 이러한 가정 하에 알고리즘은 차원을 빠르게 축소하면서도 제안 분포가 슬라이스를 충분히 커버하도록 보장한다.

실험에서는 다중 정규분포, 베이즈 로지스틱 회귀, 그리고 고차원 혼합 모델 등 네 가지 테스트 케이스를 사용하였다. 비교 대상은 전통적인 단변량 슬라이스 샘플링과 “스텝‑다이렉션”(Step‑out) 기법을 적용한 다변량 슬라이스 샘플링이다. 결과는 수축 차원 방법이 유효표본크기(effective sample size)와 자동 조정된 스텝 크기 면에서 현저히 우수함을 보여준다. 특히 상관계수가 0.9 이상인 고도로 상관된 변수들 사이에서도 빠른 수렴을 달성하였다.

한계점으로는 그래디언트 계산 비용이 높은 경우 전체 실행 시간이 증가할 수 있다는 점과, 슬라이스가 비타원형(예: 다중 모드)인 경우 차원 축소가 오히려 비효율적일 수 있다는 점을 들 수 있다. 향후 연구에서는 그래디언트 근사 기법과 비선형 서브스페이스 적응을 결합해 이러한 상황을 보완하고자 한다.