가치 그래디언트 기반 강화학습의 지역 최적성 및 정책 그래디언트와의 연결 고찰

본 논문은 연속적이고 고차원인 상태공간을 갖는 결정론적 에피소드 제어 문제를 대상으로, 전통적인 가치 함수 학습(Value Learning, VL) 방식의 한계를 지적하고 새로운 접근법인 가치‑그래디언트 학습(Value‑Gradient Learning, VGL)을 제안한다. 1. **문제 정의 및 배경** - 에이전트는 상태 x∈ℝⁿ와 행동 a∈A를 통해 모델 f(x,a)와 보상 r(x,a)로 정의된 환경을 순회한다. - 목표는 총 보상 Σₜ rₜ를 최대화하는 정책 π(x, z) 를 찾는 것이다. - 기존 방법은 최적 가치 함수 V\*(x)를 근사하고, 그 위에서 greedy 정책 π\_g(x)=argmaxₐ