안전 필터와 최적 강화학습의 완전 분리

초록

본 논문은 안전 필터를 최소 제한적으로 적용하면 강화학습(RL)의 수렴 특성과 최적 성능이 손상되지 않음을 증명한다. 안전‑중심 MDP(SC‑MDP)와 필터링된 MDP를 정의하고, 완전 안전 필터 하에서 학습된 정책이 SC‑MDP의 최적 안전 정책과 동일한 asymptotic return을 달성함을 이론적으로 보인다. 실험은 Safety Gymnasium에서 제로 위반을 확인하고, 필터링 전 베이스라인과 동등하거나 더 나은 성능을 보여준다.

상세 분석

이 연구는 강화학습에서 안전을 보장하기 위한 두 가지 수학적 모델을 도입한다. 첫 번째는 실패 상태 F에 절대적으로 진입하지 못하도록 제약하는 안전‑중심 마코프 결정 과정(SC‑MDP)이며, 여기서는 정책 π가 모든 시점에 걸쳐 F를 피해야 한다는 카테고리컬 제약을 갖는다. 이를 위해 최대 제어 불변 안전 집합 Ω를 정의하고, 각 상태 s∈Ω에서 안전 행동 집합 A_safe(s)를 구한다. admissible 정책 집합 Π_safe는 모든 행동이 A_safe(s)에 속하도록 제한한다. 두 번째 모델은 완전(least‑restrictive) 안전 필터 ϕ를 환경에 내장한 필터링된 MDP(M_ϕ)이다. ϕ는 안전하지 않은 행동을 즉시 안전 행동으로 교정하고, 안전한 행동은 그대로 통과시킨다. 따라서 M_ϕ의 전이와 보상은 ϕ에 의해 변형된 형태이지만, 상태 공간은 Ω*로 제한되어 있어 모든 실행이 안전하게 유지된다.

핵심 정리는 세 부분으로 구성된다. (i) M_ϕ에서 학습하는 모든 표준 RL 알고리즘은 기존 MDP에 대한 수렴 보장을 그대로 유지한다. 이는 ϕ가 결정론적이고 상태‑행동 쌍을 안전 집합 안으로만 매핑하기 때문에 마코프성, 유계 보상, 할인성 등의 가정이 변하지 않음에 기인한다. (ii) M_ϕ에서 얻은 정책을 동일한 ϕ와 함께 실행하면, 그 정책은 카테고리컬 안전성을 자동으로 만족한다. 즉, π∘ϕ∈Π_safe이며, 이는 SC‑MDP의 제약을 위반하지 않는다. (iii) M_ϕ에서 최적화된 정책 π는 SC‑MDP에서도 최적 정책과 동일한 기대 반환 V를 달성한다. 증명은 Ω*가 최대 제어 불변 집합임을 이용해, ϕ가 개입하는 경우와 개입하지 않는 경우의 전이 확률이 동일한 확률분포를 형성한다는 점을 보이며, 따라서 두 MDP의 가치 함수가 일치함을 보여준다.

이론적 결과는 “안전‑성능 트레이드오프”가 필터의 제한성에만 의존한다는 중요한 통찰을 제공한다. 충분히 관대하고 완전한 필터라면, 에이전트는 안전을 신경 쓸 필요 없이 순수히 보상 최적화에 집중할 수 있다. 이는 기존 연구에서 보고된 안전 필터에 의한 “채터링”이나 성능 저하 현상이 필터 설계의 보수성 때문임을 시사한다.

실험에서는 Safety Gymnasium의 다양한 시나리오(예: 장애물 회피, 목표 도달)와 제약(속도 제한, 충돌 방지)을 사용해, 완전 안전 필터를 적용한 상태에서 PPO, SAC 등 최신 오프‑폴리시/온‑폴리시 알고리즘을 학습시켰다. 결과는 학습 과정에서 0% 안전 위반을 기록했으며, 최종 평균 반환이 안전 필터를 사용하지 않은 베이스라인과 동등하거나 약간 상회함을 보여준다. 특히, 필터가 개입하지 않는 안전 행동 비율이 높을수록 학습 효율이 향상되는 경향이 관찰되었다.

요약하면, 논문은 (1) 안전‑중심 MDP와 필터링된 MDP 사이의 동등성을 수학적으로 증명하고, (2) 완전하고 최소 제한적인 안전 필터가 존재한다면 강화학습의 수렴 및 최적성을 손상시키지 않으며, (3) 실제 로봇·자동차 등 안전이 필수적인 시스템에 적용 가능한 간단하고 이론적으로 타당한 설계 원칙을 제시한다는 점에서 학문적·실용적 의의가 크다.