다양한 행동 정책과 낮은 확률성을 위한 유연한 f‑다이버전스 기반 오프라인 강화학습

초록

**
본 논문은 탐색이 제한되고 여러 행동 정책이 혼합된 오프라인 RL 데이터셋에서, Bellman 잔차 제약을 f‑다이버전스로 표현한 일반적인 LP 형태를 제시한다. 이를 기반으로 데이터 특성에 따라 제약 강도를 자동 조절할 수 있는 ‘유연한 f‑다이버전스’를 설계하고, 기존 알고리즘에 적용했을 때 MuJoCo, Fetch, AdroitHand 환경에서 성능 향상을 입증한다.

**

상세 분석

**
논문은 먼저 오프라인 RL 문제를 전통적인 마코프 결정 과정(MDP)에서 선형계획법(LP) 형태로 재구성한다. primal 문제는 가치 함수 V 를 최소화하면서 Bellman 부등식 (BV ≥ r + γTV) 을 만족하도록 하고, dual 문제는 점유 측도 d 를 최대화하면서 동일한 Bellman 흐름 제약을 갖는다. 저자들은 이 두 형태 사이에 존재하는 라그랑지안에 f‑다이버전스 벌칙을 삽입함으로써, 기존의 “pessimism” 접근법이 실제로는 특정 f‑다이버전스(예: χ²‑다이버전스)와 동등함을 보인다.

핵심 이론적 기여는 (1) f‑다이버전스와 Bellman 잔차 eν  사이의 직접적인 연결 고리를 convex conjugate 를 이용해 증명한 점, (2) 제약을 부등식에서 등식으로 완화하면서도 최적 해가 Bellman 방정식을 만족하도록 보장한 점이다. 이를 통해 ζ ≥ 0 조건을 제거하고, ζ 가 음수일 경우에도 quasi‑probability 해석을 가능하게 한다.

이론적 토대를 바탕으로 저자들은 “유연한 f‑다이버전스”라는 함수 형태를 제안한다. 이 함수는 기존 KL, χ², α‑다이버전스 등 여러 f‑다이버전스의 파라미터를 데이터‑특화 방식으로 조정할 수 있게 설계되었으며, 특히 (①) 데이터셋의 탐색 정도(Positive Scaled Variance, SACo)와 (②) 행동 정책의 전문성(정규화 기대 보상) 를 정량화한 메트릭에 따라 가중치를 자동 변환한다. 결과적으로 데이터가 거의 결정론적이면서 여러 정책이 혼합된 경우에도 과도한 보수성을 피하고, 반대로 탐색이 충분히 이루어진 경우에는 기존 보수적 제약을 유지한다.

실험에서는 두 가지 베이스 알고리즘(가치 기반 CQL, 정책 기반 BCQ)을 유연한 f‑다이버전스와 결합하였다. MuJoCo의 Hopper‑medium‑expert, Fetch‑pick‑place‑mixed, AdroitHand‑door‑v2 등에서, 특히 행동 정책이 1~2개만 존재하고 확률적 변동이 낮은 데이터셋에서 기존 방법 대비 평균 12%~18%의 성능 향상을 기록했다. 또한, 제약 파라미터를 학습 과정에서 동적으로 조정함으로써, 동일 환경 내 다양한 데이터 혼합 비율에 대해 안정적인 학습 곡선을 보였다.

한계점으로는 (①) 유연한 f‑다이버전스의 파라미터 설계가 아직 경험적 규칙에 의존한다는 점, (②) 대규모 고차원 로봇 작업에서 샘플 효율성이 다소 감소할 가능성이 있다는 점을 언급한다. 향후 연구에서는 자동 메타‑학습을 통한 파라미터 최적화와, quasi‑probability 해석을 강화해 ζ < 0 상황을 보다 이론적으로 정립할 필요가 있다.

**