보상 인식 기본 표현: 강화학습에서의 새로운 프로토 표현법

초록

본 논문은 전통적인 성공자 표현(SR)이 보상 정보를 무시한다는 한계를 극복하고자, 보상과 전이 동역학을 동시에 인코딩하는 ‘기본 표현(DR)’을 이론적으로 정립하고, DP·TD 학습 알고리즘을 제시한다. 또한 DR의 고유벡터 특성을 분석하고, 함수 근사와 상태‑행동 보상까지 확장한다. 실험에서는 보상 shaping, 옵션 발견, 탐색, 전이 학습 등 네 가지 핵심 RL 과제에서 SR보다 우수한 성능을 입증한다.

상세 분석

이 논문은 강화학습에서 “프로토‑표현”이라는 개념을 명확히 정의하고, 성공자 표현(SR)이 전이 확률만을 반영해 보상에 무관하다는 근본적인 제한을 지적한다. 이를 보완하기 위해 저자들은 ‘기본 표현(Default Representation, DR)’을 도입한다. DR은 라인arly solvable MDP(LMDP)의 프레임워크를 기반으로 하며, 상태별 보상 r(s)와 기본 정책 πᵈ에 대한 KL 비용을 동시에 고려한다. 핵심 수식 Z = h·diag(exp(−r/λ)) − P_{πᵈ})^{-1}는 보상에 대한 지수 가중치를 전이 행렬에 적용해, 각 상태쌍 (s, s′) 사이의 기대 보상을 직접적으로 추정한다는 점에서 SR과 근본적으로 다르다.

이론적 기여는 크게 네 부분으로 나뉜다. 첫째, DR을 구하기 위한 동적 프로그래밍(DP) 업데이트 Z_{k+1}=R^{-1}+R^{-1}P_{πᵈ}Z_k 를 제시하고, Neumann 급수 전개를 이용해 수렴성을 증명한다. 둘째, DP 식을 샘플 기반 TD 형태로 변형해, 전이 확률을 알 필요 없이 경험을 통해 Z(s,·)를 점진적으로 업데이트하는 알고리즘을 제시한다. 여기서 부트스트랩 목표 Y는 exp(r/λ)·1_{s=j}+Z(s′,j) 로 정의되어, 보상이 변하는 환경에서도 적용 가능하다. 셋째, DR과 SR이 보상이 일정하고 음수일 때 동일한 고유벡터 공간을 공유한다는 정리(정리 3.1)를 증명하고, 고유값 관계 μ_SR = (γ/(μ_DR^{-1}−exp(−r/λ)+γ−1))−1 를 도출한다. 이를 통해 SR에서 성공적으로 활용된 고유벡터 기반 보상 shaping 및 옵션 발견 기법을 DR에도 그대로 적용할 수 있음을 이론적으로 뒷받침한다. 넷째, 상태‑행동 보상으로 확장된 DR(식 8, 9)을 제시하고, 이를 통해 Q‑값을 직접 계산하고 최적 정책을 π∗(a|s)=πᵈ(a|s)·exp(q∗(s,a)/λ) 형태로 얻을 수 있다.

함수 근사 측면에서는 ‘default features’를 도입해, Z(s,s′;θ)≈φ(s)^T w φ(s′) 형태의 파라미터화가 가능함을 보인다. 이는 성공자 특징(SF)과 유사하지만, 보상 가중치가 내재되어 있어 전이와 보상의 변동을 동시에 학습할 수 있다.

실험에서는 (1) 보상이 음수인 지역을 회피하도록 설계된 그리드 월드에서 DR 기반 보상 shaping이 SR 대비 빠른 수렴을 보였으며, (2) DR의 고유벡터를 이용한 온라인 eigen‑option 탐색이 더 높은 탐색 효율과 누적 보상을 달성했다. (3) 카운트 기반 탐색에서도 DR이 전이 구조를 보상과 결합해 보다 균형 잡힌 탐색 정책을 생성했고, (4) 터미널 보상이 바뀌는 전이 학습 시, DR의 ‘default features’가 전이 비용 없이 즉시 새로운 가치 함수를 재계산하도록 하여 SR보다 현저히 적은 샘플로 목표 성능에 도달했다. 전반적으로 DR은 보상 의존성을 내재함으로써 SR이 놓치던 상황 인식과 빠른 적응을 가능하게 하며, 이론적 정당성과 실험적 검증을 모두 제공한다.