대규모 데이터에 대한 정확한 메트로폴리스‑헤스팅스 서브샘플링

초록

본 논문은 베이지안 사후분포 추출을 위해 전체 데이터가 아닌 작은 서브샘플만을 사용하면서도 정확성을 유지하는 새로운 메트로폴리스‑헤스팅스(MH) 알고리즘을 제안한다. 제어변량(control variates)과 1차·2차 테일러 전개를 이용해 로그우도 차이를 근사하고, 엄격한 경계값을 통해 샘플링 비용을 차원 d에 비례하는 수준으로 낮춘다. 이론적 정확성, 최적성 증명과 함께 로지스틱, 프로빗, 포아송 회귀 등 실제 모델에 적용해 기존 MH와 다른 서브샘플링 방법보다 크게 빠른 수렴과 낮은 계산량을 확인한다.

상세 분석

본 연구는 “스케일러블 MCMC”라는 큰 흐름 속에서, 특히 메트로폴리스‑헤스팅스(MH) 프레임워크를 그대로 유지하면서도 데이터 전체를 매 반복마다 평가하지 않는 방법을 고안했다는 점에서 혁신적이다. 핵심 아이디어는 각 관측치 i에 대해 로그우도 차이 ℓ_i(θ′)−ℓ_i(θ)를 정확히 계산하는 대신, 선택된 기준점 b_θ(보통 사후모드 근사) 주변에서 1차 혹은 2차 테일러 전개를 이용해 근사값 r_i(θ,θ′;b_θ)를 만든다. 이때 실제 차이와 근사값 사이의 오차 Δ_i는 사전 정의된 상수 c_i와 전역 경계 M(θ,θ′)에 의해 절대값이 제한된다(|Δ_i|≤c_i M). 이러한 경계는 기존 연구보다 훨씬 타이트하며, 특히 차원 d가 커질수록 오차가 √d 수준으로 억제된다.

오차를 보정하기 위해 논문은 두 개의 비음수 함수 ϕ_i와 ϕ′_i를 정의한다. 이 함수들은 Poisson 샘플링 과정에서 각 데이터 포인트가 실제로 사용될 횟수 S_i를 결정한다. ϕ_i와 ϕ′_i는 각각 γ·max(0,Δ_i)+(1−γ)