범용 메트릭을 활용한 리만 다양체 해밀턴 몬테카를로

초록

본 논문은 기존 RMHMC에서 사용되던 분석적으로 편리한 리만 메트릭의 제약을 넘어서는 새로운 일반 메트릭을 제안한다. 제안된 메트릭은 모델의 구조에 관계없이 자동으로 계산 가능하며, 계층적·잠재 변수 모델을 포함한 복잡한 목표분포에 대해 효율적인 샘플링을 보장한다. 실험에서는 이러한 메트릭이 기존 Fisher 정보 기반 메트릭보다 높은 효율성과 안정성을 보임을 확인하였다.

상세 분석

리만 다양체 해밀턴 몬테카를로(RMHMC)는 전통적인 HMC에 리만 기하학적 구조를 도입함으로써, 목표분포의 곡률 정보를 활용해 제안 단계의 효율을 크게 향상시킨다. 핵심은 매 단계마다 위치 x 에 대한 양의 정부호 메트릭 G(x) 를 정의하고, 이를 기반으로 해밀턴 방정식을 수치적으로 적분하는데 있다. 기존 구현에서는 주로 Fisher 정보 행렬이나 그 변형을 메트릭으로 채택했는데, 이는 로그우도와 사전분포가 충분히 매끄럽고, 닫힌 형태의 2차 미분이 가능한 경우에만 실용적이다. 그러나 실제 베이지안 모델, 특히 계층적 구조나 비선형 잠재 변수 모델에서는 이러한 조건이 충족되지 않아 메트릭을 직접 계산하기 어렵고, 근사화 과정에서 수치적 불안정성이 발생한다.

논문은 이러한 한계를 극복하기 위해 두 가지 주요 아이디어를 결합한다. 첫째, 모델의 로그밀도 ℓ(x) 에 대한 Hessian H(x)=∇²ℓ(x) 를 직접 추정하되, 고유값 분해 후 SoftAbs 함수를 적용해 모든 고유값을 양의 값으로 변환한다. SoftAbs는 작은 고유값을 부드럽게 확대함으로써 수치적 조건수를 개선하고, 역행렬 연산이 안정적으로 수행되도록 만든다. 둘째, 메트릭을 완전한 Hessian가 아니라 정규화된 형태 G(x)=U diag(softabs(λ_i)) Uᵀ + εI 로 정의한다. 여기서 U 와 λ_i 는 Hessian의 고유벡터·고유값이며, εI 는 작은 정규화 항으로, 특이점 근처에서의 발산을 방지한다. 이 구성은 모델에 대한 사전 지식이 전혀 없어도 자동으로 양의 정부호 메트릭을 생성한다는 장점을 가진다.

이 메트릭은 두 가지 중요한 성질을 만족한다. (1) 다양체 일관성: G(x)가 매끄럽게 변하므로, 리만 연결(Christoffel 기호) 역시 연속적으로 계산 가능해 해밀턴 흐름의 정확도가 유지된다. (2) 스케일 불변성: SoftAbs 변환은 고유값의 절대 크기에 민감하지 않으며, 전체 메트릭에 대한 스케일 조정이 샘플링 효율에 미치는 영향을 최소화한다. 실험에서는 이러한 특성이 고차원·다중모드 분포에서의 전이 확률을 크게 높이고, 자동 미분 프레임워크와의 호환성을 입증한다.

또한, 논문은 메트릭 계산 비용을 최소화하기 위해 부분 Hessian 접근법을 제안한다. 파라미터 블록별로 Hessian을 개별적으로 계산하고, 블록 대각선 형태의 메트릭을 구성함으로써 O(d³) 복잡도를 O(b·d²) (b는 블록 수) 수준으로 낮춘다. 이는 대규모 베이지안 신경망과 같은 고차원 모델에서도 실용적인 실행 시간을 보장한다.

결과적으로, 제안된 일반 메트릭은 기존 Fisher 정보 기반 메트릭이 갖는 분석적 제한을 완전히 해소하면서도, 수치적 안정성과 효율성을 동시에 제공한다. 이는 RMHMC을 보다 폭넓은 실무 적용 분야, 특히 복잡한 계층적·잠재 변수 모델에 확장할 수 있는 중요한 진전이라 할 수 있다.