동적 프로그래밍 차원 축소와 상·하한 추정: 주변 순찰 문제 적용

초록

본 논문은 마코프 결정 과정의 최적 정책을 구할 때 발생하는 차원 폭탄을 완화하기 위해 상태 집합을 파티션하고 각 파티션마다 값 함수를 상수로 근사하는 방법을 제시한다. 제한된 선형계획(LP)으로 얻은 근사값 함수는 원래 MDP의 최적값 함수에 대한 최솟값 상한을 제공하며, 비용 가중치와 무관함을 증명한다. 또한, 제약식의 일부를 이용해 이산적(disjunctive) LP를 풀어 하한을 구하는 절차를 제안하고, 이를 주변 순찰(perimeter patrol) 스토캐스틱 제어 문제에 적용해 실험적으로 검증한다.

상세 분석

이 논문은 전통적인 동적 프로그래밍(DP)이 상태 수가 급증하면 계산이 불가능해지는 “차원 저주”(curse of dimensionality)를 해결하고자, 상태 집합 S를 M개의 파티션 {S₁,…,S_M}으로 나눈 뒤 각 파티션 내에서 가치 함수 V(x)를 동일한 상수 v(i)로 강제한다(state aggregation). 이렇게 하면 원래의 LP(최적값 함수를 구하는 Bellman 부등식 기반 LP)의 변수 수가 |S|에서 M으로 감소한다. 중요한 점은, 파티션이 고정된 경우 비용 가중치 c≥0를 어떻게 선택하든 제한된 LP(RLP)의 최적해 v는 동일하다는 것을 증명한다. 즉, 비용 함수에 무관하게 얻어지는 v는 모든 가능한 비음수 비용에 대해 최적값 함수 V*의 최소 상한(least upper bound)이며, 이는 파티션이 정해졌을 때 얻을 수 있는 가장 타이트한 상한이다.

논문은 또한 제한된 LP의 제약식 중 일부만을 선택해 만든 이산적(disjunctive) LP를 정의한다. 이 LP는 원래 MDP의 하위 MDP(차원 축소된 마코프 체인)와 동등한 제약을 포함하며, 그 최적해는 V*에 대한 하한을 제공한다. 하한을 구하기 위해서는 각 파티션에 대해 가능한 전이 집합을 조합하는 조합 최적화 문제가 발생하지만, 특정 구조(예: 주변 순찰 문제)에서는 이 조합 문제가 다항식 시간에 해결 가능함을 보인다.

이론적 결과는 다음과 같이 정리된다.

1. 상한 독립성: 파티션이 주어지면, 비용 가중치 c에 관계없이 제한된 LP의 최적해는 동일하고, 이는 V*의 최소 상한이다.
2. 최적성 보장: 제한된 LP의 모든 실현 가능한 해는 V*보다 크거나 같으며, 최적해는 가장 작은 상한을 제공한다.
3. 하한 생성: 제약식의 서브셋을 이용해 만든 이산적 LP는 V*의 하한을 산출하지만, 이는 조합적 복잡성을 동반한다.
4. 확장성: 변수 리프팅이나 반복 Bellman 부등식(Iterated Bellman Inequalities)을 도입해도 상한이 개선되지 않으며, 제한된 LP가 제공하는 상한이 최적임을 증명한다.

실험에서는 주변 순찰(perimeter patrol) 문제에 이 방법을 적용한다. 여기서 UAV(무인 항공기)와 지상 센서가 순찰 구역을 감시하며, 상태는 UAV 위치와 남은 연료, 이벤트 발생 여부 등으로 정의된다. 파티션은 위치 구역별로 정의하고, 전이 확률은 환경 노이즈와 적대적 침입자 발생 모델을 반영한다. 제한된 LP와 이산적 LP를 각각 풀어 얻은 상·하한은 실제 최적 정책(정확히는 값 반복법으로 근사)과 매우 근접했으며, 특히 상한은 거의 겹쳐서 파티션 선택만으로도 높은 품질의 근사값을 얻을 수 있음을 보여준다.

이 논문은 상태 집합을 파티션하는 단순한 아이디어가 비용 가중치와 무관한 최적 상한을 제공하고, 추가적인 제약식 선택을 통해 하한까지 얻을 수 있음을 이론과 실험으로 뒷받침한다. 따라서 대규모 MDP에서 정책 설계와 성능 보증을 동시에 수행하고자 하는 연구자들에게 실용적인 도구가 된다.