모든 보상을 최적화할 수 있는 단일 표현 학습은 가능한가

초록

본 논문은 기존의 Forward‑Backward(FB) 표현 학습이 실제로 모든 보상에 대해 최적 정책을 제공할 수 있는지 이론적으로 검증한다. FB가 요구하는 표현 차원과 행렬 랭크 조건을 명시하고, 목표 함수가 LSIF 기반의 밀도비 추정임을 밝혀낸다. 이러한 분석을 바탕으로 순환 의존성을 제거하고 한 단계 정책 개선만 수행하는 “one‑step FB”를 제안한다. 실험 결과, one‑step FB는 기존 FB보다 10⁵ 배 작은 오류와 평균 24 % 높은 제로샷 성능을 달성한다.

상세 분석

논문은 먼저 FB가 전제하는 “ground‑truth” 표현이 언제 존재할 수 있는지를 선형대수적 관점에서 분석한다. 성공자 측정(successor measure) 행렬 Mπ가 전 순위(full rank)임을 이용해, 표현 차원 d가 상태‑행동 공간 |S×A|보다 작으면 FB 표현이 존재할 수 없다는 강력한 불가능성을 제시한다. 이는 연속적인 CMP에서는 유한 차원의 표현으로는 완전한 FB를 구현할 수 없다는 의미이며, 기존 연구가 가정한 무한 차원 혹은 완전 랭크 조건이 현실적으로 충족되지 않음을 지적한다.

다음으로 FB의 학습 목표를 LSIF(Least‑Squares Importance Fitting) 손실로 재해석한다. 목표 함수는 내부곱 ⟨F(s,a,z), B(s′,a′)⟩을 이용해 성공자 측정 비율을 직접 추정하도록 설계되었으며, 이는 TD‑LSIF 형태의 벨만 오류 최소화와 동등함을 보인다. 따라서 FB는 본질적으로 FQE(Fitted Q‑Evaluation)와 유사한 회귀 문제를 푸는 것이며, 정책과 표현 사이의 순환 의존성 때문에 수렴 보장이 깨진다.

이 순환 구조를 끊기 위해 논문은 “one‑step FB”를 제안한다. 고정된 행동 정책 πβ에 대해 성공자 측정 Mπβ를 미리 추정하고, 이를 이용해 F와 B를 학습한다. 이후 새로운 보상이 주어지면, 학습된 B와 보상의 내적을 통해 하나의 라그랑주 승수 z를 계산하고, 기존 정책을 한 번의 정책 개선(step)만 수행한다. 즉, 완전한 최적 정책을 재구성하는 것이 아니라, 한 단계의 정책 향상만을 목표로 함으로써 벨만 연산의 수축성을 유지하고 안정적인 수렴을 보장한다.

실험에서는 10개의 상태 기반 및 이미지 기반 연속 제어 환경을 사용해 기존 FB와 one‑step FB를 비교한다. 결과는 one‑step FB가 최적 Q‑값 예측 오류를 10⁵ 배 감소시키고, 제로샷 성능을 평균 24 % 향상시킴을 보여준다. 또한, one‑step FB는 사전 학습된 파라미터를 초기값으로 사용해 이후 오프라인 RL 알고리즘의 미세 조정(fine‑tuning)에도 유리한 초기화를 제공한다. 전체적으로 논문은 FB가 이론적 한계와 실용적 불안정성을 가지고 있음을 명확히 밝히고, 이를 극복한 간단하면서도 효과적인 대안을 제시한다.