증분 서명 기여로 보는 오프라인 강화학습의 새로운 패러다임

초록

본 논문은 경로 서명(path signature)의 전역적 표현이 시간적 민감성을 잃는 문제를 해결하고자, 서명을 증분 형태로 분해하는 Incremental Signature Contribution(ISC) 방식을 제안한다. ISC는 각 타임스텝에서의 증분 기여를 텐서 알제브라 공간의 시퀀스로 재구성함으로써 서명의 알제브라 구조와 표현력을 유지하면서도 순차 모델링이 가능하도록 만든다. 이를 기반으로 표준 Transformer에 최소한의 수정만 가해 만든 ISC‑Transformer(ISCT)를 오프라인 강화학습에 적용했으며, HalfCheetah, Walker2d, Hopper, Maze2d 등에서 지연 보상 및 데이터 저하 상황에서도 기존 방법들을 능가하는 성능을 보였다.

상세 분석

이 논문은 경로 서명 이론의 두 핵심 특성, 즉 “시간 재파라미터화에 불변”과 “고차 상호작용을 포괄하는 비선형 표현력”을 강화학습에 직접 활용하려는 시도를 담고 있다. 기존 연구에서는 전체 경로에 대한 트렁케이트 서명을 하나의 토큰 혹은 소수의 토큰으로 압축해 Transformer에 입력했지만, 이는 최근 관측이 전체 서명에 미치는 기여가 급격히 희석되는 문제를 야기한다. 저자들은 Chen 항등식(서명의 텐서 곱 분해)을 이용해 전체 서명을 각 타임스텝의 증분 기여(ΔS(k)ₙ)들의 순차적 곱으로 정확히 복원할 수 있음을 보이고, 이를 “증분 서명 기여(ISC)”라 명명한다.

수식 (10)·(11)은 k차 서명의 증분을 이전 시점까지의 (k‑j)차 서명과 현재 증분 Δxₙ의 j‑중 텐서 곱의 가중합으로 정의한다. 이 구조는 (i) 고차 상호작용을 유지하면서도 (ii) 각 타임스텝마다 새로운 정보를 선형적으로 추가하므로, 급격한 상태 변화나 지연 보상에 대한 민감도가 크게 향상된다. 또한, ISC는 차원 폭발을 완화하기 위해 채널 분할(C) 방식을 제안하고, 각 채널별로 독립적으로 ISC를 계산한 뒤 concat하는 실용적 구현을 제공한다.

모델 설계 측면에서 ISCT는 기존 Decision Transformer와 동일한 토큰 흐름을 유지한다. 입력 시퀀스는