정확한 확률 프로그램 합성을 위한 효율적 탐색 RefineStat

초록

RefineStat은 작은 언어 모델이 확률 프로그래밍 코드를 생성할 때 발생하는 구문·의미 오류를 방지하기 위해 의미적 제약을 적용하고, 베이지안 진단 지표가 실패하면 사전·우도 부분을 재샘플링하는 두 단계 탐색 방식을 제안한다. 실험 결과, 제한된 파라미터 수의 SLM으로도 GPT‑4 수준의 신뢰성을 달성한다.

상세 분석

본 논문은 확률 프로그래밍(PPL) 분야에서 자동 모델 발견을 목표로 하는데, 기존 LLM 기반 접근법은 구문 오류는 물론 파라미터 의미 오류(예: sigma 대신 sd 사용)까지 빈번히 발생한다는 점을 지적한다. 저자들은 이러한 문제를 두 가지 축으로 해결한다. 첫 번째는 의미적 제약 디코딩이다. 구문 트리를 기반으로 파싱 가능성, 분포 존재 여부, 파라미터 스펙 일치, 변수 의존성, 지원 범위, 타입 일치 등 여섯 가지 검증 함수를 정의하고, 토큰 수준에서 위반이 감지되면 해당 토큰만 재샘플링하는 로컬 리젝션 샘플링을 적용한다. 이는 전체 탐색 비용을 크게 늘리지 않으면서도 PyMC·NumPyro와 같은 PPL의 엄격한 규칙을 만족하도록 만든다. 두 번째는 진단 인식형 재정제이다. 베이지안 워크플로우에서 일반적으로 사용되는 7가지 진단 지표(b‑R, ESS bulk/tail, BFMI, divergences, Pareto‑k, ELPD‑LOO 등)를 정량적 임계값과 함께 모델 신뢰도 점수 B(M)으로 통합한다. 점수가 사전 정의된 ζ(=5) 이하인 경우, 자동으로 사전 혹은 우도 구문을 백트래킹하고 재생성한다. 이 과정은 “우선순위 재샘플링”이라고 부르며, 사전과 우도 중 어느 쪽이 진단 실패에 가장 큰 영향을 미치는지를 판단해 최소한의 수정만 수행한다.

실험 설계는 5개의 대표 데이터셋과 5개의 오픈‑웨이트 LLM(최대 8B 파라미터)을 사용했으며, 비교 대상으로는 무제한 LLM, 구문 제약만 적용한 Syncode, 그리고 GPT‑4 기반 BoxLM을 포함한다. 결과는 RefineStat이 구문·의미 오류율을 70% 이상 감소시키고, 대부분의 진단 지표에서 기존 SLM보다 1.5~2배 높은 성공률을 보였으며, 최종 ELPD‑LOO 점수는 GPT‑4와 거의 동등하거나 경우에 따라 더 우수했다는 점을 보여준다. 특히, 작은 모델(2B)만으로도 BoxLM이 두 번의 GPT‑4 호출을 필요로 하는 상황을 대체할 수 있음을 입증한다.

이 논문의 핵심 기여는 (1) 확률 프로그래밍 전용 의미 제약을 토큰 수준에서 효율적으로 적용한 제약 디코딩 프레임워크, (2) 베이지안 진단을 실시간으로 피드백해 재샘플링 루프를 형성한 점, (3) 작은 오픈‑웨이트 모델만으로도 대형 폐쇄형 LLM에 필적하는 신뢰성·예측 성능을 달성했다는 실증적 증거이다. 또한, 검증 함수와 진단 지표가 모듈화돼 있어 다른 PPL(Stan, Edward 등)이나 다른 도메인(예: 물리 법칙 발견)에도 손쉽게 확장 가능하다는 잠재적 가치를 가진다.