안전 탐색의 균형: 가능한 영역과 불확실 모델의 상호작용

초록

본 논문은 안전 탐색에서 “가능 영역(feasible zone)”과 “불확실 모델(uncertain model)”이 서로 의존한다는 사실을 밝혀, 두 요소가 동시에 최적화될 때 최대 안전 영역이 얻어진다고 주장한다. 이를 위해 저자들은 “안전 균형 탐색(SEE)” 프레임워크를 제안하고, 가능한 영역을 최대화하고 모델 불확실성을 최소화하는 과정을 교대로 수행한다. 그래프 기반 모델링을 통해 모델은 단조히 정제되고 영역은 단조히 확장되며, 결국 두 요소가 서로의 최적 해가 되는 균형점에 수렴한다. 실험에서는 고전 제어 환경에서 제약 위반 없이 영역을 확장하고 몇 차례 반복만에 균형에 도달함을 보였다.

상세 분석

이 논문은 안전 탐색(safe exploration) 문제를 “가능 영역(feasible zone)”과 “불확실 모델(uncertain model)” 사이의 상호 의존성으로 재구성한다. 기존 연구들은 주로 안전 필터나 인간이 설계한 제약을 기반으로 작은 초기 영역을 점진적으로 확장했지만, 모델 정확도와 영역 크기의 관계를 정량적으로 설명하지 못했다. 저자들은 먼저 불확실 모델을 상태‑행동 쌍을 입력으로 받아 가능한 전이 상태들의 집합을 반환하는 함수 ˆf 로 정의하고, 잘 보정된(well‑calibrated) 모델은 실제 전이 f(x,u) 가 항상 이 집합 안에 포함된다고 가정한다. 이 가정 하에 모든 전이 집합이 제약을 만족하면 실제 시스템도 안전하다는 보장을 얻는다.

다음으로 가능 영역을 상태‑행동 쌍의 집합 Z⊆X×U 로 정의하고, Z가 전이 집합을 통해 전방 불변(forward invariant) 을 만족하면 Z 안의 모든 정책은 무한히 안전하게 실행될 수 있다. 여기서 핵심은 “최대 가능 영역”이 존재한다는 점이다. 최대 영역은 주어진 불확실 모델 아래에서 가능한 모든 (x,u) 를 포함하고, 반대로 주어진 영역 안에서 수집된 데이터는 모델의 불확실성을 감소시켜 더 넓은 영역을 허용한다. 즉, 모델 정확도 ↔ 영역 크기가 순환 구조를 이룬다.

이 순환을 수학적으로 정리하면, “최소 불확실 모델(least uncertain model)” 은 주어진 영역 Z 내에서 얻을 수 있는 최소 오류(가장 작은 전이 집합)를 갖는 모델이며, “최대 가능 영역(maximum feasible zone)” 은 해당 모델 하에서 정의되는 가장 큰 전방 불변 집합이다. 두 개념이 서로를 최적화할 때 균형(equilibrium) 이 형성된다.

저자들은 이 균형을 찾기 위한 알고리즘 SEE (Safe Equilibrium Exploration) 를 제안한다. SEE는 (1) 현재 불확실 모델 ˆf 로부터 위험 벨만 방정식(risky Bellman equation)을 풀어 최대 가능 영역 Z* 를 계산하고, (2) Z* 내부 데이터를 이용해 전이 집합을 축소·정제하여 최소 불확실 모델 ˆf’ 를 업데이트한다. 이 과정을 반복한다. 이때 전이 집합을 그래프로 표현해 “전이 쌍 제거 가능성”을 판단하는 문제를 클리크 결정 문제와 동형임을 보이며, 이는 NP‑hard 임을 지적한다. 실용적인 근사 해법으로는 전이 집합 간의 충분조건을 이용해 다항 시간 내에 제거 가능한 쌍을 찾는 방법을 제시한다.

이론적으로는 SEE가 (i) 가능 영역을 단조 증가시키고, (ii) 모델 불확실성을 단조 감소시킨다. 두 과정이 수렴하면 더 이상 영역을 확장할 수 없고, 모델도 더 이상 정제될 수 없으므로 균형점에 도달한다는 수렴 정리를 증명한다.

실험에서는 Pendulum, CartPole, MountainCar 등 고전 제어 벤치마크를 사용했다. 초기에는 매우 제한된 영역만 허용되었지만, SEE는 몇 번의 반복만에 영역을 크게 확장하면서도 제약 위반을 0% 로 유지했다. 특히, 기존 안전 필터 기반 방법이 지나치게 보수적인 반면, SEE는 데이터가 축적될수록 모델이 정확해져 영역이 급격히 성장하는 모습을 보였다. 이는 제안된 균형 개념이 실제 환경에서도 유효함을 입증한다.

요약하면, 이 논문은 안전 탐색을 “가능 영역 ↔ 불확실 모델”의 상호 최적화 문제로 재정의하고, 그 균형을 찾는 구체적인 알고리즘과 이론적 보장을 제공함으로써 기존 방법들의 근본적 한계를 극복한다는 점에서 큰 의미를 가진다.