확률적 프로그램에서 빠른 MAP 추정을 위한 새로운 검색 알고리즘 BaMC

초록

본 논문은 확률적 프로그램 내에서 최대 사후 확률(MAP) 추정을 위한 근사 검색 알고리즘인 ‘베이지안 어센트 몬테카를로(BaMC)‘를 소개한다. BaMC는 유한, 가산, 연속 확률 변수가 혼합된 복잡한 모델에서도 적용 가능한 Anytime 알고리즘으로, 개방형 확률 매칭 기법을 통해 다양한 변수 유형을 통합적으로 처리한다. 실험 결과, BaMC는 기존의 Simulated Annealing 등 다른 MAP 추정 알고리즘보다 더 빠르고 강건한 성능을 보였다.

상세 분석

이 논문이 제안하는 BaMC 알고리즘의 핵심 기술적 혁신은 두 가지로 요약된다. 첫째, Monte Carlo Tree Search(MCTS)의 철학을 MAP 추정 문제에 맞게 재해석했다는 점이다. MCTS가 게임 트리 탐색에서 국소적 보상을 누적하며 최적 경로를 찾는 것과 달리, BaMC는 전체 확률적 프로그램 실행 경로(트레이스)의 로그 가중치(사후 확률에 비례)를 최대화하는 단일 변수 할당 조합을 찾는다. 이는 ‘단순 보상’ 최적화 문제로, 모든 샘플이 기여하는 ‘누적 보상’ 최적화(표준 MCMC)와 구분된다.

둘째, 개방형 확률 매칭(ORPM)이라는 새로운 선택 메커니즘을 도입했다. 기존의 Thompson Sampling은 유한한 선택지 집합에 대해 작동한다. 반면 ORPM은 선택 분포(확률 변수의 사전 분포)가 무한하거나 알려지지 않았을 때도 작동한다. 알고리즘은 (1) 기존에 시도된 선택지에 대한 보상 신념 분포를 유지하고, (2) 매 단계에서 ‘무작위로 새 선택지를 뽑는 옵션’ 자체를 하나의 선택지로 포함시켜 RPM을 수행한다. 이를 통해 알려지지 않은 높은 보상의 새 선택지를 지속적으로 탐색(탐험)하면서도, 기존에 높은 보상을 보인 선택지를 활용(활용)하는 균형을 잡는다. 이 메커니즘 덕분에 BaMC는 이산/연속 변수를 가리지 않고 통일된 방식으로 처리할 수 있다.

실험 설계 및 결과 해석 측면에서도 주목할 점이 있다. 비교 대상으로 Simulated Annealing(SA)의 두 가지 스케줄(지수, Lundy-Mees)과 Lightweight Metropolis-Hastings(LMH)를 선정한 것은 실용적인 관점에서 의미 있다. SA는 이론적으로 최적해 수렴을 보장하나, 실제 성능은 문제에 민감한 ‘어닐링 스케줄’ 조정에 크게 의존한다. 논문은 SA에 최적의 속도 파라미터(0.9, 0.95)를 부여했음에도 BaMC가 더 나은 성능을 보였음을 강조한다. 이는 BaMC가 내재적인 적응형 탐색 메커니즘(ORPM)을 갖춰 별도의 매개변수 조정이 필요 없음을 시사한다. HMM과 P Automata 모델에서 BaMC의 실행 경로를 시각화한 Figure 3은 개별 샘플의 가중치 중앙값이 점차 MAP 추정치에 수렴하는 모습을 보여주며, 알고리즘이 고확률 영역으로 샘플링을 집중시키고 있음을 직관적으로 증명한다.