확실한 수렴을 위한 소리값 반복: 확률적 게임과 종료 구성요소 확장

초록

본 논문은 기존에 MDP에만 적용되던 Sound Value Iteration(SVI)을 확률적 게임(SG)과 종료 구성요소(EC)가 존재하는 경우까지 일반화한다. 새로운 알고리즘은 단계별 도달 확률과 미확정 상태 체류 확률을 이용해 하한·상한을 동시에 계산하고, EC 내부에서는 “디플레이트” 기법을 변형해 정확한 상한을 유지한다. 또한 전역이 아닌 도달 가능한 부분에만 바운드를 적용하는 위상적 최적화를 제안한다. 실험 결과, 확률 사이클이 많은 모델에서 기존 BVI 대비 훨씬 적은 반복으로 원하는 정밀도를 달성한다.

상세 분석

이 논문은 두 가지 핵심 난제를 해결한다. 첫째, SVI는 원래 MDP에서만 정의되었으며, SG에서는 두 플레이어가 각각 메모리 의존 전략을 사용해야 하므로 단순히 max/min 연산을 교체하는 것만으로는 정당성을 확보할 수 없다. 저자들은 SG의 가치 함수를 “step‑bounded reachability + stay‑in‑undetermined” 형태의 기하급수적 전개로 표현하고, 각 플레이어의 최적 전략이 메모리를 필요로 함을 증명한다. 이를 통해 상한·하한을 계산하는 식을 두 플레이어의 전략 공간에 대해 정량화하고, 수렴성을 보장한다.

둘째, EC가 존재하면 기존 BVI와 마찬가지로 상한이 과대 평가되는 문제가 발생한다. SG에서는 EC 내부의 상태마다 가치가 다를 수 있기 때문에, MDP에서와 같이 EC 전체를 하나의 상태로 축소하는 방법이 통하지 않는다. 논문은 EC를 “best‑exit” 개념에 기반해 여러 부분집합으로 나누고, 각 부분집합에 대해 현재 추정값보다 낮은 상한으로 디플레이트하는 절차를 네 가지 경우(최대/최소 플레이어, 내부/외부 전이)로 구분한다. 특히, 상한을 감소시키는 과정에서 새로운 하한을 동시에 갱신함으로써 하한도 함께 수렴하도록 설계했다.

위상적 최적화는 전체 상태공간이 아닌 현재 도달 가능한 영역에만 바운드를 적용한다. 이는 확률 사이클이 존재하는 큰 모델에서 전역 바운드가 병목이 되는 현상을 완화시켜, 각 반복마다 더 큰 폭의 개선을 가능하게 한다.

알고리즘의 복잡도는 기존 VI와 동일하게 선형(상태·액션 수)이며, 추가적인 EC 분해와 디플레이트 연산은 한 번만 수행된다. 실험에서는 PRISM·Storm 기반 구현을 통해 다양한 벤치마크(무작위 MDP, 게임, 모델 검증 사례)에서 10⁻⁶ 수준의 정밀도를 달성하는 데 필요한 반복 횟수가 BVI 대비 평균 35배 감소함을 보였다. 특히 확률 사이클 비율이 높은 경우, SVI는 12번의 반복만에 충분한 상한·하한을 제공한다.

이러한 결과는 SVI가 SG와 EC를 모두 다루면서도 빠른 수렴을 유지할 수 있음을 입증한다. 논문은 또한 기존 BVI와의 차이점을 명확히 제시하고, 향후 EC 내부의 확률 사이클을 더 효율적으로 처리하는 연구 방향을 제시한다.