오프폴리시 보정이 적용된 Q(λ) 알고리즘

본 논문은 강화학습에서 행동 정책(behavior policy)과 목표 정책(target policy)이 다를 때 발생하는 오프폴리시 학습 문제를 새로운 관점에서 접근한다. 전통적인 오프폴리시 방법은 중요도 샘플링을 통해 행동 정책과 목표 정책 사이의 확률 차이를 보정하지만, 이는 높은 분산을 초래하고, 특히 다단계 반환을 사용할 경우 백업이 조기에 종료되는 현상이 있다. 저자들은 이러한 한계를 극복하기 위해, 현재 추정된 Q‑함수를 이용해 즉시 보상을 목표 정책의 기대값으로 보정하는 새로운 연산자 \(R_{\pi,\mu}\) 를 정의한다. 연산자 \(R_{\pi,\mu}\)는 상태‑행동 쌍 \((x,a)\)에 대해 \