시간차 신호의 코체인 시각: 비마르코프 강화학습을 위한 위상학적 접근

초록

본 논문은 TD 오차를 상태 전이 위상의 1‑코체인으로 해석하고, 마르코프 동역학을 “위상학적 적분 가능성”으로 정의한다. Hodge‑type 분해를 통해 TD 오차를 적분 가능한 성분과 위상학적 잔차로 나누고, 이를 최소화하는 Bellman‑de Rham 투영을 제안한다. 두 개의 신경망으로 구성된 HodgeFlow Policy Search(HFPS)는 잔차를 최소화하는 잠재 포텐셜을 학습함으로써 비마르코프 환경에서 안정성과 민감도 보장을 제공한다. 실험에서 HFPS는 부분 관측·긴 의존성·데이터셋 이동 등 비마르코프 상황에서 기존 TD 기반 방법보다 현저히 높은 성능을 보였다.

상세 분석

이 논문은 강화학습(RL)에서 가장 기본이 되는 Bellman 방정식이 비마르코프 환경에서는 근사적으로만 성립한다는 점에 착안한다. 기존 연구들은 주로 메모리 네트워크, RNN, 트랜스포머 등으로 히스토리를 인코딩해 마르코프 근사를 시도했지만, 비마르코프 현상을 위상학적으로 정량화하는 틀은 부족했다. 저자들은 TD 오차 δ_V(s,a,s′)=r(s,a)+γV(s′)−V(s)를 상태‑전이 삼중항 공간 S×A×S 위에 정의된 1‑코체인으로 보고, 이 코체인 공간 C₁을 정책 π에 의해 정의된 할인된 점유 측도 μ_π에 대한 L² 공간으로 구성한다. 그에 대응하는 0‑코체인 공간 C₀는 상태 가치 함수 u∈L²(S,ν_π)이다.

핵심 연산자는 이산 de Rham 미분 d:C₀→C₁이며, (du)(s,a,s′)=u(s′)−γu(s) 로 정의된다. 이는 할인된 시간 차분으로, 마르코프 동역학에서는 모든 TD 오차가 어떤 전역 포텐셜 u의 차이 형태, 즉 정확한 1‑코체인(Exact 1‑cochain)으로 표현될 수 있음을 의미한다. 따라서 “위상학적 적분 가능성”은 δ_V∈im(d)인 경우로 정의된다.

Hodge‑type 분해 정리(정리 3.4)를 이용하면 임의의 1‑코체인 f∈C₁는 f = f_ex + f_res 로 고유하게 분해된다. 여기서 f_ex는 im(d)의 폐집합에 대한 정사영이며, f_res는 그 직교 여공간에 속한다. TD 오차 δ_V에 적용하면 δ_V = d u* + δ_res, 여기서 u*는 최소 제곱 오차를 갖는 최적 포텐셜이며, δ_res는 “위상학적 잔차”로 마르코프 모델이 설명할 수 없는 비마르코프 성분을 측정한다. 이 잔차의 L² 노름은 Bellman 비적분 가능성 정도를 정량화한다.

또한 저자들은 Poisson 방정식 dδ_V = Δ₀ u (Δ₀ = d* d) 를 통해 u*를 구할 수 있음을 보인다. 이는 그래프 라플라시안과 유사한 선형 시스템으로, 유한 상태 공간에서는 직접 해석 가능하다.

알고리즘적으로는 두 네트워크(잠재 포텐셜 네트워크 φ와 가치 네트워크 V)를 동시에 학습한다. replay buffer에서 샘플링한 (s,a,s′)에 대해 δ_V를 계산하고, Bellman‑de Rham 투영을 근사하기 위해 φ를 업데이트해 du≈δ_V의 정사영을 학습한다. 이후 V는 정사영된 du만을 사용해 TD 업데이트를 수행함으로써 비마르코프 잔차에 의해 발생하는 불안정성을 억제한다. 이 절차를 “Topological Bellman Decomposition (TBD)”라 부르며, HFPS는 TBD 위에 정책 탐색을 추가한 형태다.

이론적 분석에서는 (i) im(d)의 폐집합성 가정 하에 분해의 존재와 유일성, (ii) Δ₀의 역행 가능성(ker(Δ₀)⊥) 하에 u*의 유일성, (iii) 샘플링 오차와 함수 근사 오차에 대한 일관성 및 민감도 경계 등을 제시한다. 특히 보상 변동, 할인 인자 변화, 근사 오류에 대해 잔차가 작을수록 업데이트가 Lipschitz 연속임을 보이며, 이는 학습 안정성을 보장한다.

실험에서는 (1) 보상이 시간에 따라 변하는 파라메트릭 보상 함수, (2) 부분 관측 POMDP, (3) 오프라인 데이터셋 이동 상황을 포함한 3가지 비마르코프 베이스라인을 구축한다. 모든 경우에서 HFPS는 기존 DQN, R2D2, IMPALA 등 메모리 기반 방법보다 평균 보상이 15~30% 이상 향상되고, 학습 곡선의 변동성이 크게 감소한다. 특히 잔차 ‖δ_res‖가 큰 환경일수록 성능 격차가 두드러진다.

결과적으로 이 논문은 강화학습에서 비마르코프 현상을 위상학적 코체인 구조와 Hodge 분해라는 강력한 수학적 도구로 정형화하고, 이를 실용적인 알고리즘(HFPS)으로 구현함으로써 이론과 실무를 연결한다는 점에서 큰 의의를 가진다.