예측 상태 기반 시계열 차분 학습

초록

본 논문은 고차원 혹은 부분 관측 가능한 환경에서 강화학습의 가치함수 근사를 위해, 선형 TD 학습과 서브스페이스 식별을 결합한 새로운 알고리즘인 Predictive State Temporal Difference (PSTD)를 제안한다. PSTD는 다수의 특징을 예측 정보를 보존하는 소수의 압축 특징으로 변환한 뒤, 변환된 특징에 대해 Bellman 방정식을 적용해 가치함수를 추정한다. 이 방법의 통계적 일관성을 증명하고, 실험을 통해 기존 방법 대비 효율성과 정확성을 확인한다.

상세 분석

PSTD는 두 분야의 핵심 아이디어를 통합한다. 첫 번째는 선형 TD(Temporal Difference) 학습으로, 이는 정책 평가 단계에서 기대 보상을 근사하기 위해 Bellman 잔차를 최소화한다는 점에서 강화학습의 표준 기법이다. 그러나 TD는 입력 특징이 가치함수와 직접적인 상관관계를 가져야 학습이 성공한다는 제한이 있다. 두 번째는 서브스페이스 식별(SSID) 기술로, 관측 가능한 시계열 데이터로부터 시스템의 내부 상태를 재구성하기 위해 예측 가능한 미래 관측값을 보존하는 저차원 선형 변환을 찾는다. PSTD는 이러한 SSID의 ‘예측 상태 표현(Predictive State Representation, PSR)’ 개념을 차용해, 원래의 고차원 특징 집합 Φ를 선형 압축 행렬 U에 의해 UᵀΦ 로 변환한다. 여기서 U는 공분산 행렬과 미래 보상에 대한 교차공분산을 이용해 최대 예측 정보를 보존하도록 설계된다. 압축된 특징은 여전히 선형 TD 업데이트에 사용될 수 있으며, 이는 기존 TD와 동일한 수렴 특성을 유지한다. 논문은 U를 구하는 과정이 일반화된 고유값 문제로 귀결된다는 점을 강조하고, 이를 통해 샘플 효율성을 크게 향상시킬 수 있음을 보인다. 또한 PSTD는 기존의 LSTD(Least‑Squares TD)와 비교했을 때, 특징 차원을 자유롭게 선택하면서도 과적합 위험을 감소시키는 장점이 있다. 통계적 일관성 증명에서는, 충분히 많은 데이터와 적절한 정규화 조건 하에 압축 행렬 U와 가치 파라미터 w가 각각 실제 시스템의 예측 상태와 최적 가치함수에 수렴함을 보인다. 실험에서는 고차원 이미지 기반 마르코프 결정 과정과 복잡한 최적 정지 문제에서 PSTD가 LSTD, LSPE, 그리고 직접적인 PCA‑TD 조합보다 빠른 수렴과 낮은 평균 제곱 오차를 기록한다. 이러한 결과는 PSTD가 특징 선택과 차원 축소를 동시에 수행함으로써, 강화학습이 직면하는 ‘특징 설계’ 문제를 효과적으로 완화한다는 실질적 의미를 갖는다.