하이퍼큐브 정책 정규화 프레임워크를 통한 오프라인 강화학습 개선

초록

오프라인 강화학습에서 데이터셋 외 행동으로 인한 분포 이동 문제를 완화하기 위해, 저자들은 상태 공간을 하이퍼큐브로 분할하고 동일 큐브 내 유사 상태의 행동을 탐색하도록 허용하는 하이퍼큐브 정책 정규화 프레임워크를 제안한다. 이 방법은 기존 정책 정규화의 과도한 보수성을 완화하면서 학습 효율을 유지한다. TD3‑BC와 Diffusion‑QL에 적용한 TD3‑BC‑C, Diffusion‑QL‑C는 D4RL 벤치마크에서 기존 최첨단 방법들을 대부분 능가한다.

상세 분석

본 논문은 오프라인 강화학습(Offline RL)에서 흔히 발생하는 “분포 이동(distribution shift)” 문제를 정책 정규화(policy regularization)와 Q‑값 정규화 사이의 트레이드오프 관점에서 재조명한다. 기존 정책 정규화 기법은 데이터셋에 존재하는 행동을 그대로 복제하도록 강제함으로써 안정성을 확보하지만, 데이터 품질이 낮을 경우 과도하게 보수적인 정책을 초래한다. 반면 Q‑값 정규화는 OOD(state‑action) 쌍을 탐색하도록 허용하지만, 정확한 Q‑값 제한을 위한 계산 비용이 크게 증가한다.

저자들은 이러한 양극단을 중간에서 연결하는 “하이퍼큐브 정책 정규화 프레임워크”를 제안한다. 핵심 아이디어는 상태 공간을 정수 δ에 의해 정의된 격자형 하이퍼큐브로 분할하고, 동일 큐브에 속하는 여러 상태‑행동 쌍을 하나의 집합으로 본다. 학습 중 에이전트는 현재 상태와 동일 큐브에 포함된 다른 상태들의 행동 중 Q‑값이 가장 높은 a_max를 선택할 수 있다. 이를 통해 (1) 데이터셋에 존재하지 않는 정확히 동일한 상태‑행동을 강제하지 않으면서, (2) 동일 큐브 내에서 “유사” 상태에 대한 더 좋은 행동을 활용해 탐색성을 확보한다.

이론적 분석에서는 Q‑함수가 Lipschitz 연속성을 만족한다는 가정 하에, 하이퍼큐브의 세분화 정도 δ(또는 θ)가 충분히 크게 설정되면 새로운 정책 π_new의 Q‑값이 기존 정책 π_old보다 감소하지 않음을 증명한다. 증명은 큐브 내에 존재하는 하나 혹은 다수의 상태‑행동 쌍에 대해 Q‑값 차이와 상태 간 거리의 상한을 비교함으로써, 적절한 δ 선택 시 Q‑값이 감소할 위험이 없음을 보인다. 실질적으로는 Q‑함수 근사 오차가 제한적일 때 작은 δ를 사용해 탐색 폭을 넓히고, 큰 δ는 보수성을 강화한다는 실용적 가이드라인을 제공한다.

알고리즘적 구현 측면에서 저자들은 두 가지 베이스라인에 프레임워크를 통합한다. TD3‑BC‑C는 기존 TD3‑BC에 하이퍼큐브 기반 a_max 저장·조회 모듈을 추가하고, 정책 업데이트 시 a_max를 사용해 정규화 손실을 계산한다. Diffusion‑QL‑C는 확산 모델 기반 행동 복제에 하이퍼큐브 탐색을 결합해, 데이터셋 내 유사 상태의 고품질 행동을 샘플링한다. 두 변형 모두 학습 시간은 기존 정책 정규화와 동일하게 유지하면서, 실험 결과에서는 특히 “medium‑replay”, “medium‑expert” 등 품질이 낮은 D4RL 데이터셋에서 20~30% 이상의 성능 향상을 기록한다.

전체적으로 이 논문은 (1) 하이퍼큐브를 통한 효율적인 상태‑행동 군집화, (2) Q‑값 기반 로컬 탐색 정책, (3) 이론적 보장과 실험적 검증이라는 세 축을 균형 있게 제시함으로써, 오프라인 RL에서 정책 정규화의 보수성을 완화하고 탐색 효율을 높이는 새로운 패러다임을 제시한다.