동적정책프로그래밍 최적정책추정의새로운접근

초록

본 논문은 무한히 긴 마르코프 의사결정 과정(MDP)에서 최적 정책을 찾기 위한 새로운 정책 반복 방법인 동적 정책 프로그래밍(DPP)을 제안한다. DPP는 근사·추정 오차의 평균 누적값을 기준으로 성능 손실을 분석함으로써 기존의 근사 가치 반복(AVI) 및 근사 정책 반복(API)보다 시뮬레이션 노이즈에 강인함을 보인다. 이론적 경계와 실험 결과 모두 DPP 기반 알고리즘이 다양한 도메인에서 기존 강화학습 방법을 크게 앞선다는 것을 확인한다.

상세 분석

동적정책프로그래밍(DPP)은 기존 근사동적계획(ADP) 방법들의 핵심 한계를 극복하기 위해 설계되었다. 전통적인 AVI와 API는 각 반복 단계에서 발생하는 근사오차 ε_k의 ‖·‖∞ 노름을 직접 사용해 성능 손실을 평가한다. 이때 Monte‑Carlo 샘플링에 의한 고분산 잡음이 누적되면 ‖ε_k‖∞가 크게 증가해 수렴 속도가 저하되고, 최종 정책의 품질도 저하된다. DPP는 이러한 문제를 “오차 평균 누적값” (\bar ε_k = \frac{1}{k+1}\sum_{j=0}^{k} ε_j) 로 대체함으로써, 독립·동일분포(i.i.d.) 혹은 마팅게일 차분 가정 하에 대수의 법칙을 적용해 잡음이 평균적으로 소멸하도록 만든다.

수학적으로 DPP는 베르만식 최적화에 엔트로피 정규화 항 (g_{\pi\bar\pi}(x)=KL(\pi(\cdot|x)|\bar\pi(\cdot|x))) 를 추가하고, 이를 라그랑주 승수 η와 결합해 소프트맥스 형태의 정책 업데이트를 도출한다. 핵심 식은
\