벨만 연산자 도달 가능성 문제의 결정 가능성 연구

초록

본 논문은 마코프 결정 과정에서 유도되는 최대·최소 벨만 연산자에 대해, 초기 벡터 s와 목표 벡터 t 사이에 유한 단계 n이 존재하여 Φⁿ(s)=t가 되는지를 묻는 도달 가능성 문제(BOR)의 결정 가능성을 조사한다. 저자는 (i) t가 연산자 Φ의 고정점이 아니거나, (ii) s와 t가 성분별 순서에 대해 비교 가능한 경우, 차원에 관계없이 문제를 결정할 수 있음을 증명한다. 또한 2차원에서는 s와 t가 비교 불가능한 경우까지 포함한 전 범위에 대해 결정 가능함을 보여, 일반적인 2차원 조각선형 맵의 도달 가능성 문제와는 대조적인 결과를 제시한다.

상세 분석

본 연구는 조각선형 맵(PAM)의 도달 가능성 문제가 차원 2에서 이미 알려진 바와 같이 일반적으로 불가능(undecidable)함에도 불구하고, 특정 구조적 제약을 가진 PAM인 벨만 연산자에 한정함으로써 결정 가능성을 확보한다는 점에서 의미가 크다. 벨만 연산자는 MDP의 최적 도달 확률을 계산하는데 사용되며, 각 상태에 대해 가능한 행동들의 선형 함수 중 최대(또는 최소)를 선택하는 형태의 조각선형 함수이다. 이러한 연산자는 ω-연속성을 가지며, 무한히 반복 적용하면 유일한 고정점 μΦ(=최적 도달 확률 벡터)로 수렴한다는 기존 결과를 기반으로 한다.

논문은 먼저 Φ의 고정점 μΦ와 목표 벡터 t가 일치하지 않을 때, 단순히 값 반복(value iteration) 과정을 통해 수렴성을 이용해 t에 도달하는지 여부를 결정할 수 있음을 보인다. 여기서는 Φⁿ(s) 가 μΦ에 수렴하므로, 어느 시점에서 t와 정확히 일치하는지 확인하면 된다. 이때 t≠μΦ이면 t는 수렴 과정 중에 반드시 지나치지 않으며, 이를 판정하기 위해서는 유리수 연산만으로 충분하다.

두 번째 주요 결과는 t=μΦ인 경우이다. 이때 s와 t가 성분별 순서에 따라 s≤t 혹은 t≤s 로 비교 가능하면, 반복 과정에서 선택되는 행동이 결국 최적 행동만으로 제한된다는 중요한 구조적 성질을 이용한다. 저자는 “최적 행동만 선택되는 단계”를 정량화하고, 이를 통해 도달 가능성 문제를 “정성적 도달 가능성”(어느 상태에서든 목표 벡터를 초과하거나 미만으로 유지) 문제로 환원한다. 이 정성적 문제는 선형 부등식 시스템의 해 존재 여부를 검사함으로써 다항시간에 해결 가능함을 증명한다.

가장 복잡한 경우는 2차원에서 s와 t가 비교 불가능(incomparable)일 때이다. 저자는 이 상황을 행렬 반군(matrix semigroup) 문제와 연결시켜, 각 행동이 정의하는 선형 변환들의 합성으로 이루어진 반군을 분석한다. 2차원에서는 각 변환이 정의하는 직선(“커널 라인”)에 전체 순서가 존재함을 이용해, 가능한 변환들의 유한한 조합을 탐색하는 알고리즘을 설계한다. 이 알고리즘은 상태공간을 유한히 분할하고, 각 구역에서 행동 선택이 고정되는 점을 찾아내어, 결국 유한 탐색으로 t=μΦ에 도달 가능 여부를 결정한다. 이 과정에서 사용되는 핵심 아이디어는 “커널 라인”을 통해 행동 간 우선순위를 명시하고, 그 우선순위가 순환하지 않으면 탐색이 종료된다는 점이다. 따라서 2차원에서는 모든 경우에 대해 결정 가능성을 확보한다.

전체적으로 논문은 (1) 벨만 연산자의 수렴성, (2) 성분별 비교 가능성, (3) 2차원 특수 구조라는 세 축을 활용해, 일반적인 조각선형 맵의 불가능성을 회피하고 결정 가능한 알고리즘을 제시한다. 또한 최대와 최소 연산자 모두에 대해 동일한 프레임워크를 적용함으로써, 강화학습 및 확률적 검증 분야에서 널리 쓰이는 두 종류의 Bellman 연산자에 대한 이론적 기반을 확장한다. 이 결과는 MDP의 가치 반복 과정에서 특정 중간 상태에 정확히 도달할 수 있는지 여부를 검증하고자 하는 실용적 요구에 직접적인 해답을 제공한다는 점에서 실용적·이론적 의의가 크다.