결정적 마코프 과정에서 다항식 가치 반복 알고리즘

초록

이 논문은 결정적 마코프 결정 과정(DMDP)에서 가치 반복(Value Iteration) 알고리즘이 의외로 다항식 시간 안에 수렴한다는 새로운 이론적 결과를 제시한다. 기본 가치 반복은 최적 평균 보상 사이클을 찾는 데 Θ(n²) 반복, 즉 Θ(m n²) 시간이 걸리며, 두 가지 개선된 변형은 Θ(m n) 시간 복잡도로 문제를 해결한다. 또한 정책 반복에 대한 분석과 무작위 희소 그래프에서의 실험적 수렴 속도도 보고한다.

상세 요약

논문은 먼저 결정적 마코프 결정 과정(DMDP)의 구조적 특성을 활용한다. DMDP는 각 상태에서 선택 가능한 행동이 하나의 다음 상태만을 지정하므로, 전체 상태-전이 그래프는 각 정점이 정확히 하나의 출향 간선을 갖는 디렉티드 그래프, 즉 함수 그래프 형태가 된다. 이러한 특성 때문에 모든 정책은 단순히 그래프의 서브셋을 선택하는 문제와 동등하며, 최적 정책은 평균 보상이 최대인 사이클을 포함한다는 고전적인 결과가 있다.

가치 반복 알고리즘은 벨만 연산자를 반복 적용하면서 각 상태의 가치 함수를 갱신한다. 일반적인 MDP에서는 가치 함수가 지수적으로 수렴하지 않을 수 있어 의사다항식 복잡도가 발생한다. 그러나 DMDP에서는 벨만 연산이 실제로 그래프의 사이클 구조를 점진적으로 “확장”하는 형태로 동작한다. 저자들은 이 과정을 정밀히 추적하여, 초기값을 0으로 설정한 경우 각 반복에서 최소 하나의 상태가 최적 사이클에 대한 정확한 평균 보상 값을 얻는 것을 증명한다.

핵심 정리는 다음과 같다.

1. 상태 가치의 단조성: 모든 상태의 가치가 비감소하며, 최적 사이클에 속한 상태는 일정 횟수 이내에 최종값에 도달한다.
2. 진입 단계와 안정 단계: 초기 몇 단계에서는 가치가 전파되는 “진입 단계”가 존재하고, 이후에는 사이클 내 모든 상태가 동시에 안정된 값을 갖는 “안정 단계”에 진입한다.
3. 반복 횟수 상한: 진입 단계는 최악의 경우 O(n) 단계, 안정 단계는 추가 O(n) 단계가 필요하므로 전체 반복 횟수는 Θ(n²)이다.

시간 복잡도는 각 반복마다 모든 m개의 전이를 스캔해야 하므로 Θ(m n²)이다. 저자들은 이 상한을 실제 실험과 비교하여 매우 보수적인 추정임을 확인한다.

다음으로 두 가지 개선된 알고리즘을 제시한다. 첫 번째는 가치 차이 기반 조기 종료 전략으로, 각 반복에서 가치 변화가 일정 임계값 이하인 경우 해당 상태를 고정하고 나머지만 갱신한다. 이는 불필요한 연산을 크게 줄여 전체 복잡도를 Θ(m n)으로 낮춘다. 두 번째는 사이클 탐지와 압축 기법이다. 가치가 수렴한 상태들을 즉시 사이클로 묶어 그래프를 축소하고, 축소된 그래프에 대해 다시 가치 반복을 수행한다. 이 방법 역시 최악의 경우 Θ(m n) 시간 안에 최적 사이클을 찾는다.

정책 반복(Policy Iteration)과의 비교에서도 흥미로운 결과가 나온다. 전통적인 정책 반복은 각 단계마다 전체 정책을 평가하고 개선하는데, DMDP에서는 정책 평가가 선형 시간에 가능하므로 전체 복잡도가 O(m n) 수준으로 감소한다. 그러나 실제 실험에서는 가치 반복이 더 빠르게 수렴하는 경우가 많았다. 특히 무작위 희소 그래프(average degree ≈ 3)에서는 평균 0.3 n iterations만으로 최적 사이클을 찾았으며, 이는 이론적 상한에 비해 10배 이상 빠른 결과다.

마지막으로 저자들은 실험 설계와 결과를 상세히 보고한다. 다양한 n(10³10⁵)와 m(2n5n) 규모의 그래프에 대해 기본 가치 반복, 조기 종료 버전, 사이클 압축 버전, 그리고 정책 반복을 비교하였다. 성능 지표는 실행 시간, 반복 횟수, 메모리 사용량이었다. 모든 경우에서 개선된 가치 반복이 가장 낮은 실행 시간을 보였으며, 특히 메모리 사용량이 제한된 환경에서 큰 장점을 나타냈다.

이 논문의 주요 기여는 다음과 같다.

• DMDP에 대한 가치 반복의 다항식 수렴을 최초로 이론적으로 증명하고, 구체적인 Θ(n²) 반복 상한을 제공.
• 두 가지 실용적인 알고리즘 변형을 제시해 전체 복잡도를 Θ(m n)으로 최적화.
• 정책 반복과의 비교를 통해 DMDP에서 가치 반복이 실제로 더 효율적일 수 있음을 실증.
• 대규모 무작위 희소 그래프에 대한 광범위한 실험을 수행, 이론적 상한이 매우 보수적임을 확인.

이러한 결과는 결정적 환경에서의 강화학습 및 최적화 문제에 새로운 이론적 기반을 제공하며, 특히 대규모 그래프 구조를 갖는 네트워크 라우팅, 로봇 경로 계획, 게임 AI 등에 직접적인 응용 가능성을 시사한다.