고정밀 확산 모델 샘플링과 로그볼록 분포를 위한 폴리로그 복잡도

초록

이 논문은 점수 함수(로그밀도 기울기)만을 이용해 확산 모델과 일반 로그볼록 분포에서 목표 정확도 δ에 대해 polylog(1/δ) 단계로 샘플링할 수 있는 새로운 메타‑알고리즘 FORS(First‑Order Rejection Sampling)를 제시한다. 최소한의 가정 하에 차원 d 에 대해 (\widetilde O(d,\text{polylog}(1/δ))) 복잡도를 달성하고, 비균일 Lipschitz 조건이나 데이터의 내재 차원 (d_\star) 에 대해서도 각각 (\widetilde O(\sqrt{dL},\text{polylog}(1/δ))) 및 (\widetilde O(d_\star,\text{polylog}(1/δ))) 복잡도를 얻는다. 또한, 밀도 평가 없이 gradient만으로 로그볼록 분포를 샘플링하는 최초의 polylog 복잡도 알고리즘을 제공한다.

상세 분석

본 논문은 기존 확산 모델 샘플링이 (1/δ) 또는 (1/δ^{1/2}) 정도만 보장하던 한계를 근본적으로 뛰어넘는다. 핵심 아이디어는 “베르누이 팩토리” 문제를 확산 샘플링에 적용한 FORS 알고리즘이다. FORS는 제안 분포 (q)와 기울기 (w(x)=\mathbb{E}