액션 없는 오프라인‑온라인 강화학습: 이산 상태 정책

초록

본 논문은 행동 라벨이 전혀 없는 (s, r, s′) 데이터셋으로부터 학습한 뒤, 온라인 상에서 빠르게 성능을 끌어올릴 수 있는 새로운 프레임워크를 제안한다. 핵심 아이디어는 연속 상태 변화를 이산화하여 “상태 정책”을 학습하고, 이를 기반으로 온라인 에이전트의 탐색을 가이드하는 것이다. 제안된 Offline State‑Only DecQN(OSO‑DecQN) 알고리즘은 상태 차이를 {‑1,0,1} 로 변환하고, DecQN 구조를 상태 차원에 적용해 고차원 환경에서도 안정적으로 학습한다. 또한, 역동역학 모델과 정책 전환 메커니즘을 이용해 오프라인에서 얻은 정책을 온라인 학습에 효과적으로 통합한다. 실험 결과, 다양한 벤치마크에서 수렴 속도와 최종 성능이 크게 향상됨을 보였다.

상세 분석

본 연구는 기존 오프라인 강화학습이 행동 라벨에 의존한다는 한계를 극복하고자, 완전한 행동 결손(action‑free) 상황을 공식화한다. 저자들은 “상태 정책(state policy)”이라는 새로운 개념을 도입한다. 이는 특정 상태 s에서 다음 상태 s′ 로의 전이를 추천하는 함수이며, 행동 대신 상태 차이 Δs = s′−s 를 예측한다. 연속적인 Δs 를 직접 회귀하는 방식은 불안정하고 과적합 위험이 크므로, 논문은 Δs 를 {‑1,0,1} 로 이산화하는 변환을 제안한다. 이때 각 차원별로 z‑score 정규화를 수행해 스케일에 무관하게 동일한 임계값 ε 로 이산화한다(식 3). 이렇게 하면 연속 회귀의 고비용을 피하면서도, Q‑learning 프레임워크를 그대로 활용할 수 있다.

OSO‑DecQN은 기존 DecQN(Decoupled Q‑Network)의 구조를 차용하되, 행동 차원이 아니라 상태 차원에 대해 Q(s,Δs) 를 학습한다. Q‑함수는 각 차원의 유틸리티 U_i(s,Δs_i) 로 분해되고, 전체 Q는 이들의 평균으로 구성된다. 이는 고차원 상태 공간에서도 선형적인 연산 복잡도를 유지한다. 또한, 이산화된 상태 차원에 대해 double‑Q와 ensemble 기법을 적용해 학습 안정성을 강화한다. 중요한 추가 요소는 정규화 항 R_θ 로, 이는 행동‑제한 정규화와 유사하게 exp‑Q 분포의 로그‑정규화 차이를 최소화한다. 이 정규화는 (1) 과대평가(overestimation) 편향을 억제하고, (2) 데이터에 존재하지 않는 비현실적인 상태 전이를 방지함으로써 “도달 가능성(reachability)” 제약을 만족시킨다.

이론적으로는 Δs 를 k개의 균등 구간으로 이산화했을 때, 원래 MDP와 이산화된 MDP 사이의 가치 차이가 O(H√(M/k!)) 로 제한된다는 정리를 제시한다(정리 1). 여기서 M은 상태 차원, H는 평균 증분 범위이며, k를 충분히 크게 하면 근사 오차가 임의로 작아진다. 따라서 이산화가 성능에 미치는 부정적 영향을 이론적으로도 억제한다.

온라인 단계에서는 오프라인에서 학습된 Q(s,Δs) 를 직접 행동으로 변환할 수 없으므로, 역동역학 모델(IDM)을 별도로 학습한다. IDM은 예측된 Δs 를 실제 환경의 행동 a 로 매핑한다. 학습은 온라인 에이전트와 병행하여 진행되며, 정책 전환 메커니즘을 통해 초기에는 오프라인 정책이 제시하는 Δs 를 따르고, 학습이 진행됨에 따라 온라인 정책이 점차 주도하도록 설계된다. 이 과정은 탐색 효율성을 크게 높이며, 오프라인 정책이 제공하는 “가이드”가 온라인 학습을 불안정하게 만들 위험을 최소화한다.

실험에서는 MuJoCo, DeepMind Control Suite 등 고차원 연속 제어 환경(최대 78 차원)과 다양한 데이터 품질(전문가, 중간, 무작위)에서 OSO‑DecQN + Guided Online을 평가했다. 결과는 (1) 수렴 속도가 기존 오프라인‑온라인 파이프라인 대비 평균 30% 이상 빨라짐, (2) 최종 평균 반환이 5‑15% 향상, (3) 특히 데이터가 저품질일 때 가이드 효과가 두드러졌음을 보여준다. 또한, Ablation 실험을 통해 (i) 이산화 없이 연속 회귀를 사용할 경우 학습이 불안정해지고 성능이 급격히 저하됨, (ii) 정규화 항을 제거하면 과대평가와 비현실적 전이 제안이 증가함을 확인했다. 이러한 결과는 제안된 이산화와 정규화가 방법론의 핵심 성공 요인임을 뒷받침한다.

전체적으로 본 논문은 행동 라벨이 전혀 없는 상황에서도 효과적인 오프라인 학습과 온라인 가이드를 가능하게 하는 실용적인 프레임워크를 제시한다. 상태 차원의 이산화, DecQN 기반 가치 분해, 보수적 정규화, 역동역학 기반 행동 매핑이라는 네 가지 핵심 설계가 서로 보완하며, 고차원 연속 제어 문제에 대한 확장성을 확보한다. 향후 연구에서는 (1) 이산화 granularity를 자동으로 조정하는 메커니즘, (2) 멀티‑에이전트 환경에서의 상태 정책 공유, (3) 시각적 관측을 포함한 고차원 센서 데이터에 대한 확장 등을 탐색할 여지가 있다.