마코프 결정 과정의 동기화 목표

초록

본 논문은 마코프 결정 과정(MDP)에서 확률 질량이 장기적으로 하나의 상태에 집중되도록 하는 ‘동기화 목표’를 정의하고, 이러한 목표를 만족시키는 전략의 존재 여부를 결정 가능한 문제로 만든다. 일반 전략과 현재 상태를 알 수 없는 블라인드 전략 모두에 대해 결정 가능성을 증명하고, 순수 전략만으로 충분하지만 메모리가 필요할 수 있음을 보인다.

상세 분석

동기화 목표는 전통적인 MDP 검증에서 사용되는 경로 기반 확률 목표와는 근본적으로 다르다. 여기서는 각 단계에서 상태에 대한 확률분포 Xₙ을 고려하고, 그 무한 노름 ‖Xₙ‖∞ = maxₛ Xₙ(s) 가 1에 수렴하는지를 살핀다. 강한 동기화(strongly synchronizing)는 lim inf ‖Xₙ‖∞ = 1, 약한 동기화(weakly synchronizing)는 lim sup ‖Xₙ‖_∞ = 1 로 정의된다. 이는 결국 어느 시점 이후에 모든 실행이 동일한 상태 s* 로 수렴한다는 의미이며, 확률 1로 특정 상태에 도달하는 단순 도달성(reachability)과는 구별된다.

논문은 두 종류의 전략을 다룬다. 완전 정보 전략은 현재 상태를 관찰할 수 있어 상태에 따라 행동을 선택하고, 블라인드 전략은 라운드 번호만 알고 동일한 행동을 모든 가능한 상태에 적용한다. 두 경우 모두 전략을 확률적(무작위) 혹은 순수(결정적) 형태로 정의한다. 중요한 결과는 ‘순수 전략만으로도 동기화 목표를 달성할 수 있다’는 것이며, 이는 복잡한 확률적 선택이 필요 없음을 의미한다. 그러나 메모리 요구는 피할 수 없는데, 특히 블라인드 전략에서는 무한히 긴 행동 시퀀스를 기억해야 하는 경우가 존재한다.

결정 가능성 증명은 전통적인 부분집합 구성(subset construction)을 변형한 두 자동화 모델에 기반한다. 완전 정보 부분집합 구성에서는 각 상태마다 독립적인 행동 함수를 정의해 셀(상태 집합) 간 전이를 만든다. 블라인드 부분집합 구성에서는 모든 상태가 동일한 행동을 선택하도록 제한한다. 각각의 구성에서 ‘순환 사이클(cycle)’을 찾아 그 안에 존재하는 최소 재발 순환 집합(minimal recurrent cyclic set)을 분석한다. 사이클 내 모든 셀에 대해 최소 재발 집합이 단일 상태만을 포함하면 해당 사이클은 동기화 전략을 제공한다는 것이 핵심 정리이다.

또한, 전이와 재발 상태의 전통적 마코프 체인 이론을 활용해, 순환 사이클이 포함하는 상태들이 모두 재발 상태(recurring)이어야 함을 보인다. 이는 확률 질량이 영원히 사라지지 않고, 결국 하나의 상태에 집중될 수 있음을 보장한다.

복잡도 측면에서, 부분집합 구성의 상태 수는 원래 MDP의 상태 수의 2^|L| 만큼 급증하지만, 결정 알고리즘 자체는 PSPACE 내에서 실행 가능함을 논문은 언급한다. 따라서 이론적으로는 실용적인 크기의 시스템에도 적용 가능하다.

마지막으로, 동기화 목표를 기존의 ‘동기화 단어(synchronizing word)’ 개념과 연결한다. 결정적 유한 자동기에서는 하나의 단어가 모든 시작 상태를 동일한 상태로 이끌지만, MDP에서는 무한 전략이 필요하고 확률적 전이가 존재한다는 점에서 일반화된 형태라 할 수 있다. 이는 DNA 전사 모델링, 로봇 제어, 분산 센서 네트워크 등 확률적 시스템에서 ‘단일 상태로 수렴’하는 제어 문제에 새로운 이론적 도구를 제공한다.