PCTL와 동적 계획법의 연계성 탐구

초록

본 논문은 비가산 상태 공간을 갖는 마코프 연쇄에 대한 PCTL 정의를 제시하고, PCTL의 몇몇 연산자와 동적 계획법(DP) 문제 사이에 깊은 연관성이 있음을 밝힌다. 해의 유일성 정리를 증명한 뒤, 복구 전략을 기술하는 도달-회피 문제를 PCTL 공식으로 변환하는 두 사례를 통해 이론적 연결고리를 실용적으로 시연한다.

상세 분석

논문은 먼저 기존의 PCTL가 유한 상태 마코프 체인에만 적용된 한계를 지적하고, 측도 이론을 활용해 상태 공간이 연속적이거나 무한한 경우에도 의미론을 확장한다. 이를 위해 상태 집합을 표준 보렐 σ-대수 위에 정의하고, 전이 확률을 커널 형태로 기술한다. 핵심은 “다음 상태에서의 확률적 만족도”를 측정하는 연산자 X와 “시간 제한 내에 목표 집합에 도달할 확률”을 나타내는 U 연산자를 연속형 마코프 과정에 그대로 적용할 수 있도록 하는 것이다.

동적 계획법과의 연결은 두 연산자가 각각 최적화 문제의 베르누이 방정식과 가치 함수 방정식에 대응한다는 점에서 드러난다. 특히, “P≥p