숨겨진 파라미터 변동에 대응하는 적응형 방패 기반 안전 강화 강화학습

초록

본 논문은 마찰·중력 등 관측되지 않는 파라미터가 변동하는 환경에서 안전을 보장하기 위해, 전이 데이터를 통해 동적 모델을 저차원으로 추정하는 함수 인코더와, 추정된 모델을 이용해 불확실성을 정량화한 적응형 방패를 결합한 프레임워크를 제안한다. 학습 단계에서는 비용‑민감형 보조 목표를 통해 정책을 안전한 행동으로 유도하고, 실행 단계에서는 컨포멀 예측 기반 안전 마진을 적용해 위험한 행동을 실시간으로 차단한다. 이론적 분석과 Safe‑Gym 실험을 통해 평균 비용률에 대한 경계와 뛰어난 반환‑안전 트레이드오프를 입증한다.

상세 분석

이 논문은 숨겨진 파라미터에 의해 전이 함수가 시시각각 변하는 CHiP‑MDP(Constrained Hidden‑parameter MDP) 설정을 정의하고, 두 가지 레이어의 안전 메커니즘을 제시한다. 첫 번째 레이어는 Safety‑Regularized Optimization(SRO)으로, 기존 강화학습 목표에 비용‑민감형 가치 (Q_{\pi}^{safe}) 를 가중치 (\alpha) 와 함께 더한다. (Q_{\pi}^{safe})는 현재 정책이 할당한 확률밀도와 근방 비용‑가치 (Q_{\pi}^{C}) 를 통합해, 높은 비용을 유발하는 행동에 대해 큰 음의 보상을 부여한다. 이 설계는 정책이 위험 지역에서 확률 질량을 옮기도록 유도하면서도, 정책 파라미터 (\theta) 에 대한 그래디언트는 (\nabla_{\theta}\log\pi_{\theta}) 에만 의존해 학습 안정성을 유지한다.

두 번째 레이어는 Adaptive Shield이다. 여기서는 함수 인코더(Function Encoder, FE)를 사용해 전이 함수 (T_{\phi}) 를 신경망 기반 기저함수 ({g_i}{i=1}^k) 와 계수 (b_i) 의 선형 결합으로 근사한다. FE는 온라인으로 관측된 ((s,a,s’)) 쌍을 최소제곱 방식으로 투영해 (b{\phi}) 를 추정하고, 이 저차원 표현을 통해 미래 상태를 빠르게 예측한다. 예측값에 대해 컨포멀 예측(Conformal Prediction, CP)을 적용해 (1-\delta) 신뢰구간을 계산하고, 이 구간을 안전 마진으로 활용한다. 후보 행동이 마진 안에 들어오면 차단하고, 안전한 행동만 정책에 전달한다. CP는 비정상적인 전이 변화에도 적응하도록 Adaptive CP(A‑CP)를 도입해 임계값을 학습한다.

이론적으로 저자는 예측 오차 (\epsilon_t) 와 평균 비용률 (\xi_{\pi})  사이에 선형 상한을 증명한다. 즉, 방패가 제공하는 안전 마진이 작을수록 비용률이 낮아짐을 보장한다. 실험에서는 Safe‑Gym의 6가지 환경(예: CartPole‑Safe, Drone‑Hover 등)에서 숨겨진 파라미터(마찰계수, 중력 가속도 등)를 다양하게 변조하고, PPO‑CPO, Lagrangian‑RL, 기존 Shielding 등을 베이스라인으로 삼았다. Adaptive Shielding은 평균 비용을 30%~70% 감소시키면서도 반환은 5%~12% 향상시켰으며, 특히 훈련에 보이지 않던 파라미터 조합에서도 안정적인 성능을 유지했다. 실행 시간 오버헤드는 FE와 CP 연산을 포함해 평균 1.8배 수준으로, 실시간 제어에 충분히 적용 가능함을 보여준다.

핵심 기여는 (1) 비용‑민감형 보조 목표를 통한 정책의 사전 안전성 강화, (2) 함수 인코더 기반의 저차원 동적 모델링으로 빠른 온라인 적응, (3) 컨포멀 예측을 활용한 불확실성‑감지 방패 설계, (4) 예측 오차와 안전 비용 사이의 형식적 연결 고리 제공이다. 제한점으로는 FE가 충분히 풍부한 기저함수를 필요로 하며, 고차원 연속 제어에서는 기저함수 수가 급증할 수 있다는 점, 그리고 CP의 신뢰구간 설정이 지나치게 보수적이면 정책 탐색이 제한될 수 있다는 점을 들 수 있다. 향후 연구에서는 기저함수 자동 선택, 다중‑에이전트 협업 상황에서의 방패 공유, 그리고 비정형 센서 노이즈에 대한 견고한 CP 확장 등을 제안한다.