제약 샘플링을 위한 동역학 라그랑주 분할 스킴

본 연구는 제약 샘플링을 “penalized” 형태로 변환하여, 기존의 비스무스한 제약 지시함수 ℓ_K(θ)를 부드러운 거리 기반 페널티 ℓ_λ(θ)=½λ⁻² d_K(θ)²로 근사한다. 여기서 d_K는 θ와 제약 집합 K 사이의 거리이며, λ>0은 조정 파라미터이다. 이렇게 정의된 잠재 에너지 U_λ(θ)=f(θ)+ℓ_λ(θ)는 Lipschitz 연속이며, KLD(Kinetic Langevin Dynamics)와 같은 연속 확률 미분 방정식에 적용 가능하도록 만든다. KLD는 위치 L_t와 속도 V_t를 갖는 2차 마코프 과정으로, dL_t = V_t dt, dV_t = −∇U(L_t) dt − γ V_t dt + √(2γ) dW_t, 이며, γ는 마찰 계수, W_t는 표준 p‑차원 브라운 운동이다. 이 시스템의 고유 불변 측도는 ν(dθ,dv) ∝ exp(−U(θ)−‖v‖²/2) dθ dv이다. 기존의 Euler‑Maruyama(E M)나 Randomized Midpoint Method(RMM)와 달리, 저자들은 KLD를 정확히 분할 가능한 연산자 B, A, O로 나누어 고차 수치 스킴을 설계한다. B 연산자는 잠재 에너지 흐름을 담당하며 (θ, v) → (θ, v−h∇U(θ)) 로 정의된다. A 연산자는 위치 이동 (θ, v) → (θ+hv, v) 를, O 연산자는 감쇠·노이즈 (θ, v) → (θ, η v + √(1−η²) ξ) 를 수행한다. 여기서 η=exp(−γh/2), ξ∼N(0,I_p)이다. 두 가지 주요 분할 스킴이 제안된다. 첫 번째는 BU B(또는 CUBU) 스킴으로, B–U–B 순서로 구성된다. 여기서 U 연산자는 B와 O를 결합한 복합 연산으로, 정확히 해석적 해를 이용해 한 스텝 내에 통합한다. CUBU는 제약을 반영하기 위해 각 단계 후에 Bregman 또는 Gauge 투영을 적용한다. 이 스킴은 하나의 그래디언트 평가만으로 강한 2차 편향을 달성하고, 단계 크기 h에 대한 안정성 조건이 차원 p와 무관함을 증명한다. 두 번째는 BAO AB(또는 CBAOAB) 스킴이다. 순서는 B–A–O–A–B 로, 약한(샘플링) 오더 2를 제공한다. 이 스킴은 노이즈와 감쇠를 정확히 처리하면서도 위치 이동을 두 번 수행함으로써 샘플링 편향을 최소화한다. 마찬가지로 각 단계 후에 투영 연산을 삽입해 제약을 유지한다. 이론적 분석은 크게 두 부분으로 나뉜다. (1) Wasserstein‑1 및 Wasserstein‑2 거리에서의 수축성: 저자들은 강한 로그-볼츠만 조건과 잠재 에너지의 m‑강한 볼록성, L‑Lipschitz 연속성을 가정하고, 각 스킴의 전이 커널 P_h가 ρ‑수축성을 만족함을 보인다. (2) 복합도(Complexity) 분석: ε‑정밀도 목표에 대해 필요한 스텝 수 N(ε) 를 도출한다. CUBU와 CBAOAB은 각각 O(ε^{−3})와 O(ε^{−3})(W_2) 혹은 O(ε^{−7})(W_1) 복합도를 가지며, 이는 기존 PULMC(O(ε^{−7}))와 CKLMC(O(ε^{−4}))보다 현저히 개선된 것이다. 특히 Bregman·Gauge 투영을 사용하면 복합도가 동일하면서도 제약 위반을 효과적으로 억제한다. 확률적 그래디언트 버전도 제안된다. SG‑CUBU와 SG‑CBAOAB은 미니배치 기반 ∇̂U를 사용하고, 추가적인 잡음 항을 포함한다. 저자들은 배치 크기 B와 단계 크기 h 사이에 B·h = O(ε) 관계를 두면 동일한 수축 상수와 복합도 O(ε^{−6})~O(ε^{−25/2})를 달성함을 증명한다. 이는 기존 SG‑CKLMC(O(ε^{−18}))에 비해 크게 향상된 결과이다. 수치 실험은 네 가지 시나리오로 구성된다. (i) 원형 제약, (ii) 삼각형 제약, (iii) 정사각형 제약, (iv) 베이지안 선형 회귀(제약된 파라미터). 각 실험에서 ESS(Effective Sample Size), 평균 제곱 오차, 실행 시간 등을 비교하였다. CUBU와 CBAOAB은 모든 경우에서 빠른 수렴과 높은 ESS를 보였으며, 특히 고차원(p=100) 상황에서도 단계 크기 h≈0.1 수준에서 안정적으로 동작했다. SG‑버전도 미니배치 크기 64 정도에서 좋은 성능을 유지했으며, 기존 SG‑CKLMC 대비 2~3배 빠른 수렴을 기록했다. 결론적으로, 이 논문은 KLD 기반 제약 샘플링에 분할 스킴을 적용함으로써 강한 오더와 차원 독립적 안정성을 동시에 달성하고, Wasserstein 수축 및 복합도 측면에서 기존 방법들을 크게 앞선다. 또한 Bregman·Gauge 투영과 확률적 그래디언트 확장을 통해 실제 대규모 베이지안 모델에도 적용 가능함을 실험적으로 검증하였다. 향후 연구는 비볼록 제약 집합, 비선형 제약 함수, 그리고 HMC와 결합한 고차원 복합 샘플링으로 확장하는 방향을 제시한다.