잠재 안전 제약 기반 오프라인 강화학습 정책 설계

초록

본 논문은 오프라인 데이터만을 활용해 안전 제약을 만족하면서 보상을 최대화하는 정책을 학습한다. 저자는 조건부 변분 오토인코더(CVAE)로 안전 제약을 잠재 공간에 모델링하고, 이를 비용‑우선 Q‑학습과 보상‑우선 어드밴티지 가중 회귀(AWR)와 결합해 ‘잠재 안전‑우선 제약(LSPC)’ 프레임워크를 제안한다. 이론적 성능·표본 복잡도 한계를 제시하고, 자율주행 등 복잡한 벤치마크에서 기존 방법들을 크게 앞선 결과를 보인다.

상세 분석

논문은 안전 오프라인 강화학습을 두 단계로 나눈다. 첫 번째 단계에서는 CVAE를 이용해 데이터셋에 존재하는 행동 정책 π_b와 비용 라벨을 조건으로 하여, 상태‑행동 쌍을 잠재 변수 z에 인코딩한다. ELBO 최적화를 통해 인코더 q_α(z|s,a)와 디코더 p_β(a|s,z)를 학습함으로써, “잠재 안전 제약”이라는 연속적인 표현을 얻는다. 이 잠재 공간은 표준 정규분포를 prior로 두어, z가 prior에 가까울수록 디코더가 데이터 분포에 부합하는 안전한 행동을 재생성한다. 따라서 정책이 데이터 지원(support) 밖으로 벗어나는 OOD 행동을 선택할 위험을 구조적으로 억제한다.

두 번째 단계에서는 Implicit Q‑Learning(IQL) 기반의 보상‑가치 Q_r와 비용‑가치 Q_c를 각각 학습한다. 비용‑가치 네트워크는 기대 비용을 과소평가하지 않도록 expectile 회귀와 비대칭 L2 손실을 사용한다. 이후 어드밴티지 A_c(s,a)=Q_c(s,a)−V_c(s)와 A_r(s,a)=Q_r(s,a)−V_r(s)를 정의하고, 비용‑우선 정책 π_s는 AWR(Advantage‑Weighted Regression)으로, λ라는 온도 파라미터를 통해 비용 어드밴티지를 가중치로 두어 로그 가능도를 최대화한다. 즉, 비용 어드밴티지가 큰(즉, 비용이 낮은) 행동에 높은 확률을 부여한다.

보상‑우선 정책 π_o는 동일한 AWR 구조를 사용하지만, 보상 어드밴티지 A_r을 가중치로 삼아 비용 제약을 만족하면서도 보상을 극대화한다. 여기서 핵심은 CVAE가 제공하는 잠재 제약 z∈ℤ를 추가적인 필터링 단계로 활용한다는 점이다. π_o가 제안하는 행동 â는 먼저 디코더 p_β(a|s,z)와 결합해 “잠재 안전 영역” 안에 있는지 검증하고, 안전성이 확인된 경우에만 보상 어드밴티지 기반으로 최종 선택된다.

이론적 분석에서는 (i) 정책 π가 비용 제한 κ를 초과하지 않을 확률적 상한, (ii) CVAE가 데이터 지원을 완전히 커버한다는 가정 하에 샘플 복잡도 O(1/ε²) 수준의 수렴을 보인다. 특히, KL‑제약 D_KL(π‖π_b)≤ε₁을 명시적으로 도입하지 않음으로써, 기존 방법에서 발생하던 과도한 보수성(under‑exploration) 문제를 완화한다.

실험에서는 D4RL Safe‑Gym, CARLA 기반 자율주행 시뮬레이션, 그리고 실제 차량 로그 데이터 등 4가지 벤치마크를 사용한다. 평가 지표는 평균 누적 보상, 비용 위반 비율, 그리고 안전 제약 만족률이다. LSPC‑S(안전 정책)와 LSPC‑O(보상 최적 정책)는 모두 비용 위반을 0%에 가깝게 유지하면서, 기존 CQL‑Safe, BCQ‑Safe, 그리고 최신 Constrained IQL 대비 10~25% 높은 보상을 달성한다. 시각화 결과는 잠재 공간에서 안전 제약이 명확히 구분되는 클러스터 형태로 형성됨을 보여, 모델이 학습한 “안전 경계”가 직관적으로 해석 가능함을 증명한다.

전체적으로 이 논문은 (1) CVAE를 통한 잠재 안전 제약 모델링, (2) IQL과 AWR을 결합한 이중 목표 최적화, (3) KL‑제약을 배제한 보다 유연한 정책 제약 메커니즘이라는 세 축을 통해, 안전 오프라인 RL 분야에 새로운 패러다임을 제시한다. 특히, 비용 라벨이 희소하거나 불완전한 실제 산업 현장에 적용 가능하도록 설계된 점이 실용적 가치를 높인다.