스코어 기반 메트로폴리스 헤이스팅을 활용한 분수 라그랑주 알고리즘

초록

본 논문은 α‑안정 레비 과정으로 구동되는 분수 라그랑주 샘플러에 대해, 목표와 제안 분포의 밀도를 직접 계산할 수 없는 상황에서도 전적으로 스코어(로그밀도 기울기)만을 이용해 메트로폴리스‑헤이스팅(MH) 보정을 수행하는 MAFLA(Metropolis‑Adjusted Fractional Langevin Algorithm)를 제안한다. isotropic 대칭 α‑안정 노이즈의 위치‑패밀리 구조를 활용해 제안 분포의 스코어를 근사하고, Score Balance Matching을 통해 수용 함수(acceptance function)를 학습한다. 실험에서는 무보정 분수 라그랑주(FULA) 대비 유한 시간 샘플링 정확도가 크게 향상되고, MaxCut·최소 정점 커버와 같은 조합 최적화 문제에서도 더 높은 품질의 해를 얻는다.

상세 분석

본 연구는 기존 분수 라그랑주 알고리즘(FULA)이 밀도 기반 MH 보정을 적용할 수 없다는 근본적인 한계를 극복하고자 한다. α‑안정 레비 과정은 무한분산·무한모멘트를 갖는 heavy‑tailed 특성을 제공하지만, 그 확률밀도는 일반적으로 특성함수(푸리에 변환)로만 정의되고 닫힌 형태가 존재하지 않는다. 따라서 전통적인 MH에서 요구되는 제안밀도 q(x′|x)와 그 로그스코어 ∇_{x′}log q를 직접 계산할 수 없으며, 이는 샘플러가 큰 점프를 할 때 발생하는 이산화 편향과 꼬리 분포 왜곡을 보정하지 못한다는 문제를 낳는다.

MAFLA는 두 가지 핵심 아이디어에 기반한다. 첫째, isotropic 대칭 α‑안정 분포가 위치‑패밀리(location family)라는 사실을 이용해 제안분포의 스코어를 근사한다. 구체적으로, 제안 단계 x′=x+τ \tilde b(x)+τ^{1/α}ξ (ξ∼SαS(1))에서 r=x′−x−τ \tilde b(x)라 두고, α∈(1,2] 구간에서 ∇_{x′}log q(x′|x)≈−κ r (κ=1/(α c_α τ))라는 1차 근사를 도출한다. 여기서 c_α는 Γ함수를 포함한 정규화 상수이며, 이 근사는 τ→0일 때 정확도가 보장된다.

둘째, Score Balance Matching(SBM)이라는 새로운 학습 프레임워크를 도입한다. SBM은 상세균형(detailed balance)의 기울기 형태인 a(x′,x)·a(x,x′)=p(x′)q(x|x′)p(x)q(x′|x) 를 스코어 수준에서 만족하도록 수용 함수 aθ(x′,x) 를 파라미터화하고, 목표 스코어 sθ(x)와 제안 스코어의 근사값을 이용해 기대 손실을 최소화한다. 이 과정에서 실제 밀도값은 필요 없으며, 오직 스코어와 근사된 제안 스코어만 사용한다는 점이 혁신적이다.

이론적으로 MAFLA는 무보정 FULA 대비 다음과 같은 장점을 제공한다. (1) 유한 단계에서의 편향이 크게 감소한다. α‑안정 노이즈가 야기하는 장거리 점프가 수용 함수에 의해 적절히 조정되므로, 꼬리 부분에서의 과도한 확산이 억제된다. (2) 스텝 사이즈에 대한 민감도가 완화된다. 기존 FULA는 스텝 사이즈가 작아야만 안정적인 동작을 보장했지만, MAFLA는 MH 보정이 포함되므로 비교적 큰 τ에서도 정확한 샘플링이 가능하다. (3) 조합 최적화와 같은 비연속 문제에 연속적 완화(continuous relaxation)를 적용할 때, 탐색 능력과 수렴 안정성을 동시에 확보한다.

실험에서는 2차원 및 고차원 heavy‑tailed 합성 데이터, 실제 이미지 데이터(예: CIFAR‑10에 대한 α‑stable 노이즈 변형), 그리고 MaxCut·최소 정점 커버와 같은 NP‑hard 문제에 대한 연속적 이완(continuous relaxation) 설정을 평가하였다. 모든 경우에서 MAFLA는 무보정 FULA 대비 평균 KL 발산, ESS(effective sample size), 그리고 꼬리 분포의 95% 신뢰구간 커버리지를 크게 개선하였다. 특히 조합 최적화 실험에서는 MAFLA 기반 샘플러가 더 높은 목표 함수 값을 달성했으며, 이는 분수 라그랑주가 제공하는 장거리 점프와 MH 보정이 제공하는 안정성이 시너지 효과를 냈기 때문이다.

결론적으로, 본 논문은 “밀도 없이도 MH 보정을 구현할 수 있다”는 새로운 패러다임을 제시한다. 이는 α‑stable 레비 기반 샘플링뿐 아니라, 일반적인 비정규화 모델, 에너지 기반 모델 등에서도 스코어만으로 정확한 MCMC를 설계할 수 있는 가능성을 열어준다.