안전은 지키되 과도한 보수성은 버려라: 불확실성 인식 안전 비평가 USC

초록

본 논문은 안전 비평가가 불확실한 영역에서만 보수적으로 행동하도록 설계한 “불확실성 안전 비평가(USC)”를 제안한다. 파라미터‑공간 불확실성을 영향 함수로 추정해 보수성 정도를 가중하고, 데이터가 부족한 영역을 선형 보간으로 보강하는 두 단계의 모듈을 도입한다. 실험 결과, 기존 보수적 비평가 대비 안전 위반을 약 40 % 감소시키고, 비용 그래디언트 오차를 83 % 줄이며 보상 성능을 유지하거나 향상시켰다.

상세 분석

USC는 기존 안전 비평가가 겪는 “과도한 보수성(over‑conservatism)” 문제를 두 가지 핵심 메커니즘으로 해결한다. 첫 번째는 불확실성‑가중 보수 손실이다. 저자들은 파라미터‑공간의 에피스틱 불확실성을 Gauss‑Newton 영향 함수(influence)로 추정하고, 이 영향 점수 ũ(s,a)를 비용 예측 Q_C(s,a)의 상한에 가중한다. 즉, 불확실성이 큰(state‑action) 쌍에 대해서는 비용을 의도적으로 과대평가하고, 불확실성이 낮은 영역에서는 과대평가를 억제해 비용 지형을 얇게 만든다. 이는 안전 제약을 만족시키는 동시에, 안전한 영역에서의 비용 그래디언트가 희석되지 않게 해 정책이 보상 신호를 충분히 활용하도록 만든다.

두 번째는 불확실성 정제(refinement) 절차이다. replay buffer에서 가장 불확실한 전이들을 선정하고, 그들의 가장 가까운 ‘확신 있는’ 이웃(state‑action)과 선형 보간하여 합성 전이를 만든다. 이러한 합성 전이는 비용 손실 L_refine에 포함돼, 데이터가 희소한 영역의 Q_C를 직접 학습시켜 불확실성을 감소시킨다. 이 과정은 신뢰 구간을 좁히면서도 비용 지형을 보다 날카롭게 유지한다는 점에서 기존의 단순 보수적 손실(CSC)과 차별화된다.

이론적 분석에서는 USC가 비용 예측의 상한을 불확실성에 따라 조정함으로써, Lagrangian 기반 제약 최적화에서 dual 변수 λ이 급격히 상승할 때도 그래디언트 소실을 방지한다는 점을 증명한다. 실험은 Safety‑Gymnasium의 CarGoal2, Hazardous‑Maze 등 6개 연속 제어 태스크에서 수행됐으며, 비교 대상은 표준 안전 비평가(SC)와 보수적 비평가(CSC)이다. 결과는 다음과 같다. (1) 평균 안전 위반 횟수가 SC 대비 28 %, CSC 대비 40 % 감소, (2) 비용 그래디언트 L2 오차가 SC 대비 71 %, CSC 대비 83 % 감소, (3) 보상 평균 수익은 대부분의 환경에서 SC·CSC보다 동등하거나 5 % 이상 향상. 또한, 학습 안정성 측면에서 USC는 λ의 변동성을 30 % 이상 완화해 정책 업데이트가 더 부드럽게 진행된다.

한계점으로는 영향 함수 기반 불확실성 추정이 고차원 네트워크에서는 계산 비용이 크게 증가한다는 점이며, 현재 구현은 배치당 한 번의 근사만 수행해 실시간 적용에 제약이 있다. 또한, 선형 보간 정제는 비선형 비용 지형이 복잡한 환경에서 충분히 표현하지 못할 가능성이 있다. 향후 연구에서는 효율적인 샘플링 기반 영향 추정, 비선형 보간(예: 가우시안 프로세스) 및 멀티‑에이전트 설정에서의 확장성을 탐구할 여지가 있다.

전반적으로 USC는 “보수성은 유지하되, 불확실한 영역에만 집중한다”는 설계 철학을 통해 안전 RL에서 오래된 보수‑안전·보상‑성능 간의 트레이드오프를 크게 완화한다는 점에서 의미가 크다.