마코프 증가량의 사각형 스캔 확률을 엄밀히 계산하는 방법

초록

본 논문은 마코프 증가량(Markov increment) 구조를 이용해 사각형 스캔 확률(rectangle scan probability)을 정확한 상·하한으로 계산하는 알고리즘을 제시한다. 알고리즘은 IEEE‑754 표준의 부동소수점 연산을 활용해 구간 연산을 수행하고, 다항분포와 다변량 초기하분포 등 주요 사례에 적용 가능함을 보인다. 구현은 R 패키지로 제공되며, 실험을 통해 상·하한의 차이가 매우 작아 실용적인 정확도를 확보함을 입증한다.

상세 분석

논문은 먼저 다항분포에서 “ℓ개의 연속 박스에 포함된 사건 수가 k 이하”라는 스캔 통계량을 확률적으로 기술한다. 이를 직접 전수 계산하면 지원 집합 D의 크기가 급격히 증가해 계산량이 비현실적이 된다. 저자는 N∼Mn,p 를 마코프 증가량 Y=(Y1,…,Yd) 로 보는 관점을 채택한다. 여기서 Yk는 누적합 Sk=S_k−S_{k−1} 로 정의되며, (S1,…,Sd)는 마코프 체인이다. 이 구조를 이용하면 사각형 스캔 확률을 “Y1∈A1, …, Yd∈Ad” 형태의 다중 사건 확률로 변환할 수 있다.

핵심 정리 2.1은 p(k,x)=P(Xk=x, Y1∈A1,…,Yk∈Ak) 가
p(k,x)=∑{y∈Ak} P(Xk=x | X{k-1}=x·y^{-1})·p(k-1, x·y^{-1})
이라는 재귀식을 만족함을 보인다. 여기서 “·”는 그룹 연산이며, f_k가 양방향 전단사임을 이용한다. 이 재귀식은 유한 집합 A1,…,Ad에 대해 전형적인 동적 프로그래밍 형태로 구현 가능하다.

다음 단계에서는 연속 ℓ개의 Y값을 하나의 벡터 V_k=(Y_k,…,Y_{k+ℓ-1}) 로 묶어 새로운 마코프 체인 W_k를 정의한다(레마 3.1). 이렇게 하면 원래의 사각형 스캔 사건을 V_k∈B_k (B_k는 ℓ합이 A_k에 속하는 ℓ‑튜플 집합) 로 바꿀 수 있다. B_k가 무한할 경우, 실제 계산을 위해 유한한 근사 집합 M_k⊂X^ℓ 를 찾아 동일 확률을 보장한다. 특히 X=ℤ, + 연산인 경우 M_k는 y_1+…+y_ℓ≤k 와 같은 제한을 갖는 유한 집합이 된다.

알고리즘 A는 위 재귀식을 기반으로 p(1,·)를 초기화하고, k=2…d에 대해 순차적으로 p(k,·)를 갱신한다. 최종 확률은 p(d,·)의 합으로 얻는다. 이 과정은 모든 연산을 덧셈·곱셈으로만 구성하므로 IEEE‑754의 “올림(rounded‑up)”과 “내림(rounded‑down)” 모드를 각각 적용해 상·하한을 동시에 얻을 수 있다. 레마 5.1은 구간 연산의 단조성을 이용해 전체 오류를 간단히 추적한다.

정밀도 분석에서는 IEEE‑Double(52비트 가수, 11비트 지수)에서 가능한 최소 양수 2^{-1074}와 1−2^{-53} 사이의 확률을 다룰 때 상대오차가 최대 1/(2^{53}+1)≈1.1·10^{-16} 이하임을 보인다. 이는 실제 통계 검정에서 요구되는 10^{-7} 수준보다 훨씬 정밀하다.

구현은 R 패키지로 제공되며, C 레이어에서 IEEE‑754 연산을 직접 호출한다. 실험에서는 n=500, d=365, ℓ=3, k=15인 경우 상·하한 차이가 10^{-7} 미만으로, 1초 이내에 결과를 얻는다. 기존 전수 합산 방식은 동일 조건에서 수시간에서 수일이 걸리는 반면, 제안 알고리즘은 실시간 수준이다.

결론적으로, 마코프 증가량이라는 일반적인 프레임워크를 이용해 사각형 스캔 확률을 정확히 구간으로 계산할 수 있는 효율적인 방법을 제시했으며, 부동소수점 연산의 특성을 활용한 오류 관리 기법이 핵심적인 기여이다.