범용 확률 프로그래밍을 위한 병렬화 가능한 파인만카크 모델

초록

본 논문은 확률 프로그램 그래프(PPG)의 무한 실행 트레이스에 대한 기대값 기반 의미론을 정의하고, 이를 유한 길이 트레이스로 근사하는 정리와 파티클 필터링(PF)의 일관성을 증명한다. 또한 SIMD 벡터화를 활용한 VPF 알고리즘을 제안해 기존 추론 도구 대비 높은 성능을 실험적으로 입증한다.

상세 분석

이 연구는 두 가지 핵심 문제를 동시에 해결한다. 첫째, 무한 루프와 임의의 측도에서 샘플링이 가능한 범용 확률 프로그래밍 언어의 형식적 의미론을 제공한다. 저자들은 확률 프로그램 그래프(PPG)를 자동이론적 구조로 정의하고, 각 전이와 점수 함수를 마코프 커널과 측도 함수로 모델링한다. 이를 기반으로 무한 실행 트레이스 전체에 대한 기대값 의미론을 구축했으며, 트레이스 가중치를 포함해 조건부 확률을 정확히 기술한다. 둘째, 이러한 의미론을 유한 시간 구간의 파인만‑카크(FK) 모델에 매핑한다. 유한 근사 정리에서는 ‘프리픽스‑클로즈드’ 함수들의 기대값을 유한 길이 트레이스의 기대값으로 제한 오차를 명시적으로 제시한다. 이 정리는 FK 모델에 대한 기존의 파티클 필터링(PF) 일관성 결과를 그대로 PPG에 적용할 수 있게 만든다. 즉, 입자 수 N→∞ 일 때 PF가 정의하는 입자 분포가 무한 트레이스 의미론이 정의하는 측도에 수렴함을 보장한다.

알고리즘적 측면에서 저자들은 PF의 각 전이와 스코어 연산을 전체 입자 벡터에 동시에 적용하는 SIMD‑벡터화 전략을 설계했다. 이를 VPF(Vectorized PF)라 명명하고, TensorFlow 기반 구현을 통해 GPU·CPU의 대규모 병렬성을 활용한다. 실험에서는 복잡한 조건부 루프와 연속·이산 혼합 분포를 포함하는 베이지안 모델들을 대상으로, 기존 PPL(예: Pyro, Stan, Gen)의 SMC 구현과 비교해 실행 시간과 추정 정확도 모두에서 우수한 결과를 얻었다. 특히, 입자 정렬(resampling) 단계가 매 전이 후에 일관되게 수행되어 파이프라인 병목을 최소화하고, 메모리 접근 패턴이 연속적이어서 캐시 효율이 크게 향상되었다.

이 논문은 형식적 의미론과 실용적 병렬 구현을 동시에 다룸으로써, 무한 루프와 임의 측도 샘플링을 지원하는 범용 PPL에 대한 이론적 신뢰성과 실용적 확장성을 동시에 제공한다는 점에서 의미가 크다.