동시 안전·도달 게임의 종료 기준

초록

본 논문은 동시 진행되는 그래프 기반 게임에서 안전 목표의 가치를 하한으로 근사할 수 있는 전략 개선 알고리즘을 제시한다. 제안된 방법은 플레이어 1이 안전 목표를 달성할 최대 확률을 점진적으로 상승시키는 전략 열을 생성하며, 기존의 상향 근사 기법과 결합해 상·하한을 동시에 수렴시키는 실용적인 해법을 제공한다.

상세 분석

동시 게임(concurrent game)은 각 라운드마다 두 플레이어가 독립적으로 행동을 선택하고, 그 조합이 다음 상태를 결정한다는 점에서 순차적 게임과 근본적으로 다르다. 이러한 게임에서 안전(safety) 목표는 “정해진 안전 집합 안에 영원히 머무르는 것”이며, 그 대수인 도달(reachability) 목표는 “목표 집합에 도달하는 것”이다. 기존 연구에서는 두 목표에 대해 각각 상향 근사(값 반복) 혹은 하향 근사(전략 개선) 기법이 제시되었지만, 동시 안전 게임에 대해서는 하향 근사, 즉 값의 하한을 제공하는 알고리즘이 부재했다.

논문은 이 공백을 메우기 위해 플레이어 1의 전략을 반복적으로 개선하는 알고리즘을 설계한다. 핵심 아이디어는 현재 전략에 대해 플레이어 2가 최적 반응을 보일 때, 플레이어 1이 자신의 행동 확률을 조정해 안전 유지 확률을 최소한 기존보다 높이도록 하는 것이다. 이를 위해 각 상태에서의 기대 안전 확률을 선형 프로그램(LP) 형태로 표현하고, 전략 개선 단계에서는 해당 LP의 최적 해를 이용해 새로운 확률 분포를 계산한다.

알고리즘의 수렴성은 두 가지 중요한 성질에 기반한다. 첫째, 각 반복에서 얻어지는 전략은 이전 전략보다 안전 확률이 단조 증가한다는 점이다. 이는 LP 최적화 과정에서 얻어지는 값이 기존 값의 하한을 유지하면서 동시에 가능한 최대값에 가까워지기 때문이다. 둘째, 전략 공간이 컴팩트하고 연속적인 확률 분포로 이루어져 있기 때문에, 단조 증가 수열은 상한값, 즉 게임의 실제 가치에 수렴한다는 점을 보인다.

또한 논문은 이 하향 근사 알고리즘과 기존의 값 반복(value iteration) 혹은 도달 게임용 전략 개선 알고리즘을 결합하는 방법을 제시한다. 값 반복은 안전 가치에 대한 상향 근사를 제공하므로, 두 알고리즘을 동시에 실행하면 상·하한이 서로 교차하면서 점차 좁아지는 구간을 얻을 수 있다. 이 구간이 충분히 작아지면 원하는 정확도 내에서 정확한 가치가 결정된다.

복잡도 측면에서, 각 반복 단계는 상태 수와 행동 수에 다항식 시간으로 해결 가능한 LP를 풀어야 하므로, 전체 알고리즘은 다항식 시간 내에 원하는 정밀도로 수렴한다는 보장은 없지만, 실험적으로는 비교적 빠른 수렴을 보인다. 특히, 안전 목표가 보수적이어서 최적 전략이 확률적 혼합 전략을 필요로 하는 경우에도, 제안된 LP 기반 개선 단계가 효과적으로 혼합 비율을 조정한다는 점이 강조된다.

마지막으로, 논문은 기존 방법들이 제공하지 못했던 양방향 근사(upper‑lower bound) 프레임워크를 통해 실용적인 해법을 제공한다는 점에서 의의가 크다. 이는 동시 게임의 안전·도달 문제를 실제 시스템 검증, 로봇 제어, 네트워크 보안 등에서 활용할 수 있는 기반을 마련한다.