행동 충분한 목표 표현 학습

초록

본 논문은 오프라인 목표조건 강화학습에서 하위 정책이 사용할 목표 표현이 “가치 충분”만으로는 최적 행동 선택을 보장하지 못한다는 점을 밝힌다. 정보이론적 정의인 “행동 충분성”을 도입해 목표 표현이 목표‑행동 관계를 완전히 보존해야 함을 증명하고, 가치 기반 표현이 이를 위배하는 사례를 정량·정성적으로 분석한다. 실험적으로는 값 기반 표현보다 정책(액터) 기반 표현이 낮은 수준 정책의 성공률을 크게 향상시킴을 확인한다.

상세 분석

이 연구는 계층적 오프라인 목표조건 강화학습(Hierarchical Offline GCRL)에서 고수준 플래너와 저수준 컨트롤러 사이의 인터페이스 역할을 하는 목표 표현(goal representation)의 설계 원칙을 재검토한다. 기존 방법들은 주로 가치 함수(V‑function) 학습 과정에서 목표와 상태를 결합한 인코더 ϕ_V를 최적화하고, 이를 그대로 저수준 정책에 전달한다. 저자들은 이러한 “가치 충분(value‑sufficient)” 접근법이 “행동 충분(action‑sufficient)”을 보장하지 않음을 이론적으로 증명한다.

핵심은 두 가지 정보‑이론적 조건이다. ① 가치 충분성: I(V;G | S,Z)=0, 즉 인코더 Z=ϕ(S,G)가 최적 가치 V(S,G)를 완전히 복원할 수 있음을 의미한다. ② 행동 충분성: I(A;G | S,Z)=0, 즉 목표 G에 대한 모든 행동‑정책 정보가 Z에 보존되어야 최적 정책 π*(A|S,G)와 동일한 조건부 분포를 얻을 수 있다.

논문은 Proposition 5.2를 통해 가치 충분성을 만족하더라도 I(A;G | S,Z) 가 0이 아닐 수 있음을 보여준다. 직관적인 1‑차원 예시(정수선 위에서 좌우 이동)에서 거리만을 인코딩한 ϕ_dist은 V를 완벽히 예측하지만, 목표가 왼쪽인지 오른쪽인지 구분하지 못해 최적 행동을 선택할 수 없다는 점을 제시한다. 이는 “목표 정보를 압축하면서도 행동에 필요한 방향성 정보를 잃어버리는” 구조적 한계다.

또한, 저자들은 저수준 정책을 로그‑손실(AWR)로 학습할 때 자연스럽게 행동 충분성을 만족하는 인코더 ϕ_A가 형성된다는 사실을 발견한다. 이는 정책 학습 자체가 목표‑행동 관계를 보존하도록 압축을 유도하기 때문이다. 실험에서는 OGBench의 cube task에서 ϕ_V와 ϕ_A를 비교했으며, 동일한 오라클 서브골을 제공받아도 ϕ_V 기반 정책의 성공률이 현저히 낮았다. 반면 ϕ_A 기반 정책은 가치 함수가 정확히 학습되었음에도 불구하고 높은 성공률을 기록했다.

이러한 결과는 “가치 예측이 잘 되더라도 행동 선택에 필요한 정보가 손실될 수 있다”는 중요한 교훈을 제공한다. 따라서 계층적 GCRL 설계 시 목표 표현을 가치 중심이 아닌 정책 중심으로 학습하거나, 행동 충분성을 만족하도록 명시적 정규화·목표‑행동 상호정보 최소화 목표를 도입해야 한다는 실용적 지침을 제시한다.