무작위 재활용을 통한 효율적인 온라인 샘플링

초록

이 논문은 동적 확률 분포 시퀀스를 대상으로, i.i.d. 동전 던짐만을 이용해 샘플을 생성하는 온라인 알고리즘을 제안한다. ‘무작위 재활용(Randomness Recycling)’ 기법을 도입해 평균 엔트로피 비용을 임의의 ε>0 만큼 Shannon 하한에 가깝게 만들면서, O(log (1/ε)) 크기의 보조 메모리만 사용한다. 기존의 Knuth‑Yao, Han‑Hoshi 등은 무한 메모리를 필요로 했으나, 본 방법은 공간·시간·엔트로피 측면에서 모두 우수하며, Fisher‑Yates 셔플 가속 및 이산 가우시안 샘플링 등 실용적인 응용에서도 성능 향상을 보인다.

상세 분석

본 연구는 “온라인 샘플링”이라는 설정을 명확히 정의한다. 여기서 목표는 확률 분포의 시퀀스 (P_1,P_2,\dots) 가 임의의 확률 과정에 의해 생성될 때, 매 라운드마다 새로운 분포를 질의하고, 그 분포에 따라 정확히 샘플을 뽑는 것이다. 기존 이론적 최적 알고리즘인 Knuth‑Yao(1976)와 Han‑Hoshi(1997)의 인터벌(산술 코딩) 방식은 기대 엔트로피 비용을 Shannon 하한에 정확히 맞추지만, 무한히 많은 보조 상태를 필요로한다. 이는 실제 시스템에서 메모리 제한이 있는 경우 적용이 어려운 단점이다.

논문은 이 문제를 “무작위 재활용”이라는 새로운 알고리즘적 기법으로 해결한다. 핵심 아이디어는 샘플링 과정에서 남는 ‘잔여 무작위 상태’를 보존하고, 이후 라운드에서 재사용함으로써 전체 엔트로피 소비를 감소시키는 것이다. 이를 위해 저자들은 두 종류의 무작위 상태(균등 상태와 비균등 상태)를 정의하고, 각각을 병합·분할하는 연산을 설계한다. 예를 들어, 두 균등 상태를 하나의 균등 상태로 병합하거나, 균등 상태를 비균등 상태와 또 다른 균등 상태로 분할하는 과정에서 발생하는 정보 손실을 최소화한다. 이러한 연산은 모두 정수 연산만으로 구현 가능하므로, 고정된 메모리와 O(1) 시간 내에 수행된다.

주요 정리인 Theorem 1.5는 임의의 ε>0와 공통 분모 d에 대해, 모든 유리 확률 분포 시퀀스 (p\in(\Delta_X^d)^{\mathbb N}) 에 대해
\