제3형 마코프 의사결정 과정 정책 그래디언트 하강을 통한 분포 학습

초록

**
본 논문은 누적 보상의 전체 분포를 목표 분포에 맞추는 “분포형 MDP”를 정의하고, 신경망으로 파라미터화한 무작위 정책을 이용해 특성함수 손실을 최소화하는 정책 그래디언트 알고리즘을 제안한다. 약한 정규성 가정 하에 확률 근사 기법을 이용해 수렴을 증명하고, 다양한 실험을 통해 복잡한 목표 분포 매칭과 기존 최적 정책 복원, 그리고 분포 제어의 비유일성 현상을 확인한다.

**

상세 분석

**
이 논문은 전통적인 기대값 기반 MDP(1종)와 위험 측정 기반 MDP(2종)를 넘어, 누적 보상의 전체 확률분포 자체를 최적화 목표로 삼는 “제3형 MDP”를 체계화한다. 핵심 아이디어는 보상 누적값 (R_T)의 특성함수 (\varphi_R(u)=\mathbb{E}