대규모 마코프 의사결정 과정의 평균장 근사와 연속 HJB 방정식

초록

본 논문은 객체 수가 매우 많은 마코프 의사결정 과정(MDP)을 평균장 이론을 이용해 연속 미분방정식 형태의 최적화 문제로 전환한다. 이때 이산 Bellman 방정식의 최적 보상이 연속 Hamilton‑Jacobi‑Bellman(HJB) 방정식의 해로 수렴함을 증명하고, 보상 차이에 대한 명시적 상한을 제공한다. 또한 HJB 해로부터 원래 MDP의 근사 정책을 구성하는 알고리즘을 제시하고, 투자, 인구 동역학, 대기열 스케줄링 세 가지 사례를 통해 실효성을 검증한다.

상세 분석

논문은 먼저 N개의 독립적인 객체가 상호작용하며 진행되는 마코프 의사결정 과정을 정의하고, 각 객체의 상태와 제어가 전체 시스템의 전이 확률에 미치는 영향을 평균장(Mean‑Field) 방식으로 집계한다. 이때 N→∞ 한계에서 개별 객체의 확률분포는 확정적인 궤적을 따르는 ODE로 근사되며, 전체 시스템의 상태는 확률분포의 순간(moment)으로 표현된다. 저자들은 이러한 평균장 근사가 Bellman 연산자에 적용될 때, 이산적인 동적 프로그래밍 방정식이 연속적인 HJB 방정식으로 수렴한다는 정리를 제시한다. 핵심은 두 가지 가정이다. 첫째, 보상 함수와 전이 확률이 Lipschitz 연속성을 만족하여 상태와 제어의 작은 변동이 보상과 전이에 선형적으로 영향을 미친다. 둘째, 제어 정책이 Markovian이며, 제한된 집합 안에서 선택될 수 있다는 점이다. 이러한 전제 하에, 저자들은 보상 차이 |V_N – V|에 대해 O(1/√N) 혹은 O(1/N) 수준의 상한을 도출한다. 여기서 V_N은 N‑객체 MDP의 최적 가치 함수, V는 연속 HJB 해의 가치 함수이다.

또한, 논문은 실제 정책을 구성하는 방법으로 “역방향 샘플링” 기법을 제안한다. 구해진 HJB 해의 그래디언트를 이용해 연속 제어 입력을 계산하고, 이를 이산 정책으로 양자화한다. 이 과정은 시간 복잡도가 O(T·M)으로, T는 시간 단계, M은 제어 후보 수이며, 원래의 Bellman 방정식을 직접 풀 때 발생하는 O(|S|·|A|·T) 복잡도와 비교해 크게 감소한다.

세 가지 사례 연구는 이론의 적용 가능성을 보여준다. 첫 번째는 위험 회피형 투자 모델로, 자산 비중을 연속적으로 조정하는 최적 정책이 HJB 해를 통해 얻어지며, 이산 MDP와 비교해 수익‑위험 프로파일이 거의 동일하면서 계산 시간이 수십 배 단축된다. 두 번째는 인구 동역학 제어로, 개체군 성장률과 사망률을 조절하는 정책이 평균장 ODE에 매핑되고, HJB 기반 정책이 목표 인구 수준을 빠르게 달성한다. 마지막으로 대기열 스케줄링에서는 서비스 속도와 입고율을 제어하는 문제를 다루며, 연속 HJB 해가 대기시간 최소화 정책을 제공하고, 전통적인 동적 프로그래밍에 비해 메모리 사용량이 현저히 낮다.

전체적으로, 논문은 평균장 근사를 통해 대규모 MDP의 차원 저주를 극복하고, 연속 최적 제어 이론을 활용해 실용적인 근사 정책을 효율적으로 도출하는 프레임워크를 제시한다. 특히 보상 차이에 대한 정량적 상한과 정책 변환 알고리즘은 이 분야에서 중요한 이론적·실용적 기여로 평가될 수 있다.