오프라인 비관주의 탈피를 위한 벡터장 보상 설계로 안전한 경계 탐색 구현

초록

오프라인 강화학습의 과도한 비관주의가 온라인 탐색을 방해한다는 문제를 해결하고자, 저자는 불확실성 오라클을 기반으로 한 벡터장 보상 shaping을 제안한다. 보상은 (1) 불확실성 그래디언트와 정렬해 목표 불확실성 레벨로 끌어당기는 Gradient Alignment와 (2) 스키워-대칭 행렬을 이용해 경계면을 따라 회전 흐름을 생성하는 Rotational Flow로 구성된다. 이 설계는 에이전트가 경계에 머무르지 않고 지속적으로 안전한 영역을 탐색하도록 유도한다. 2D 네비게이션 실험에서 Soft Actor‑Critic과 결합해 목표 달성 및 경계 탐색을 동시에 달성함을 보였다.

상세 분석

본 논문은 오프라인 강화학습(Offline RL)에서 흔히 발생하는 ‘비관주의(pessimism)’가 정책의 온라인 데이터 수집 능력을 크게 제한한다는 근본적인 딜레마를 명확히 짚어낸다. 기존의 안전 RL은 온라인 단계에서 위험 제약을 두고 반복적으로 정책을 업데이트하는 방식으로 위험을 관리하지만, 고차원 딥 네트워크에서는 이러한 업데이트가 안전성을 보장하기 어렵다. 따라서 저자들은 위험 관리 책임을 오프라인 사전 학습 단계로 완전히 이전시키는 전략을 채택한다. 핵심 아이디어는 “경계 탐색(boundary exploration)”이다. 즉, 오프라인 데이터가 충분히 커버한 영역과 시뮬레이터가 신뢰할 수 있는 영역 사이의 불확실성 경계에 근접하면서, 그 경계면을 따라 움직여 새로운 정보를 수집하도록 정책을 설계한다.

이를 구현하기 위해 제안된 보상 shaping은 두 가지 벡터장 구성요소로 이루어진다. 첫 번째인 Gradient Alignment은 현재 상태 s의 불확실성 함수 U(s)의 그래디언트 ∇U(s)와 에이전트의 실제 이동 Δs= s′−s 사이의 내적을 이용한다. 스칼라 가중치 α(s)=sign(U_mid−U(s))·tanh(|U(s)−U_mid|)는 에이전트가 목표 불확실성 레벨 U_mid보다 낮은 영역에 있을 때 양의 힘을, 초과했을 때 음의 힘을 부여해, 에이전트를 목표 레벨 쪽으로 끌어당기면서 동시에 과도한 위험 영역으로의 진입을 억제한다. 두 번째인 Rotational Flow는 스키워-대칭 행렬 W( Wᵀ=−W )를 ∇U(s)에 적용해 W∇U(s)라는 접선 방향 벡터를 만든다. 이 벡터는 ∇U(s)와 직교하므로 불확실성 레벨 집합 U={s|U(s)=U_mid} 위를 순환하도록 흐름을 만든다. 가중치 β(s)=1−|tanh(U(s)−U_mid)|는 에이전트가 정확히 레벨 집합에 도달했을 때 최대가 되며, 레벨을 벗어나면 점차 감소한다. 따라서 에이전트는 목표 레벨에 도달하면 즉시 회전 흐름에 의해 경계면을 따라 지속적으로 이동하게 되고, “주차(parking)” 현상을 방지한다.

이론적 분석에서는 보상 함수가 생성하는 벡터장이 마르코프 과정의 잠재적 함수(potential function)와 유사하게 작용함을 보이며, Gradient Alignment이 목표 레벨에 대한 수렴성을 보장하고, Rotational Flow가 라그랑주 승수 형태로 경계면을 따라 움직이는 동역학을 유도한다는 점을 증명한다. 또한, 보상이 상태-방문 밀도 매칭 방식에서 발생하는 모드 붕괴(mode collapse)를 회피하도록 설계됐으며, 불확실성 오라클이 보수적인 상한을 제공하므로 실제 환경에서의 안전성을 이론적으로 보장한다.

실험에서는 2차원 연속 네비게이션 환경을 사용해, 불확실성 영역을 붉은 색으로 표시하고 목표 레벨을 초록색 경계로 설정하였다. Soft Actor‑Critic(SAC)과 결합한 제안 보상은 에이전트가 목표 지점에 도달하기 전, 안전하게 불확실성 경계에 접근하고, 그 경계선을 따라 순환하며 데이터를 수집한다. 베이스라인인 보수적 오프라인 정책은 경계 근처를 회피해 우회 경로를 택했으며, 단순 불확실성 보상만 사용한 경우는 경계에 도달하면 멈추는 “주차” 현상이 관찰되었다. 제안 방법은 목표 달성 시간과 수집된 정보량 모두에서 베이스라인을 능가했으며, 시뮬레이션‑실제 격차가 큰 영역에서도 안전하게 복구 가능한 행동을 유지하였다.

이 논문은 (1) 오프라인 단계에서 안전 탐색 정책을 사전 학습함으로써 온라인 업데이트 없이도 데이터 수집이 가능하도록 한 점, (2) 불확실성 오라클을 활용한 벡터장 보상 설계가 경계 탐색과 안전성을 동시에 달성한다는 점, (3) 이론적 보증과 실험적 검증을 모두 제공한다는 점에서 기존의 상태‑방문 매칭, 정보‑이론 기반 탐색, 혹은 안전 RL의 온라인 업데이트 의존 접근법과 차별화된다. 한계점으로는 불확실성 오라클의 품질에 크게 의존한다는 점과, 현재 2D 실험에 국한되어 고차원 로봇 제어나 자율주행 등 실제 복합 시스템에 적용하기 위한 확장 연구가 필요하다는 점을 언급한다.