고차원 히트앤런 샘플러

초록

본 논문은 선형 제약이 부여된 확률밀도에 대해 고차 정보(그라디언트와 헤시안)를 활용한 히트‑앤‑런 제안 방식을 결합한 새로운 MCMC 알고리즘을 제안한다. 제약 영역을 벗어나지 않는 제안 생성이 보장되면서도, 목표 분포의 곡률 정보를 이용해 이동 거리를 최적화한다. 실험 결과, 기존의 제약형 및 무제약형 샘플러에 비해 수렴 속도와 샘플 효율성이 크게 향상됨을 확인하였다.

상세 분석

본 연구는 선형 제약(polytope) 내부에 정의된 복잡한 확률밀도 함수를 효율적으로 샘플링하기 위한 새로운 마코프 연쇄 몬테 카를로(MCMC) 방법을 제시한다. 기존의 히트‑앤‑런(Hit‑and‑Run) 알고리즘은 제안점이 항상 제약 영역 안에 머무르도록 직선을 선택하고 그 직선 상에서 균등하게 이동하는 단순한 메커니즘을 사용한다. 그러나 이러한 방식은 목표 분포의 형태를 반영하지 못해 고차원에서 수렴이 느리다는 한계가 있다. 반면, 무제약 상황에서 널리 쓰이는 라플라시안(Langevin)이나 하밀턴(Hamiltonian) 기반 샘플러는 로그밀도의 1차·2차 미분 정보를 활용해 제안 방향과 스텝 크기를 조정함으로써 효율성을 크게 높인다. 하지만 제약이 존재하면 그라디언트가 제약면을 넘어서는 방향을 가리키는 경우가 빈번해, 제안이 즉시 거부되는 현상이 발생한다.

논문은 이러한 딜레마를 해소하기 위해 “Higher‑Order Hit‑and‑Run”(HO‑HR)라는 프레임워크를 설계한다. 핵심 아이디어는 (1) 현재 상태에서 목표 로그밀도의 그라디언트와 헤시안을 계산하고, (2) 이 정보를 이용해 제약면에 투영된 최적의 이동 방향을 추정한 뒤, (3) 그 방향을 따라 직선을 정의하고, (4) 직선 상에서 제약 다각형과의 교차 구간을 정확히 구한 뒤 그 구간 내에서 고차원 가우시안(또는 라플라시안) 분포에 따라 샘플링한다는 순서이다.

첫 번째 단계에서 그라디언트는 제약면에 수직인 성분을 제거하고, 남은 접선 성분만을 사용한다. 헤시안은 로컬 곡률을 반영해 이동 거리의 스케일을 조정하는데, 이를 통해 고차원에서 흔히 발생하는 “스텝 크기 과소/과다” 문제를 완화한다. 두 번째 단계에서는 제약 행렬 (A)와 현재 위치 (x)를 이용해 직선 파라미터 (t)에 대한 허용 구간 (