강화학습 기반 해밀턴 자코비 도달가능성 인증 프레임워크

초록

본 논문은 강화학습(RL)으로 학습된 가치함수를 해밀턴‑자코비(HJ) 도달가능성 해석에 직접 연결시키는 새로운 인증 체계를 제시한다. 할인된 초기 시간 ‘여행 비용’ 모델을 이용해 작은 단계의 RL 가치 반복이 감쇠가 포함된 전방 HJ 방정식과 동등함을 보이고, 학습 오차를 일정한 오프셋으로 변환하는 ‘가산 오프셋 정리’를 도입한다. 이를 통해 균일 가치 오차가 HJB 방정식의 상수 오프셋과 정확히 일치함을 증명하고, 두 가지 경로(A) 벨먼 연산자 잔차 bound, (B) HJB PDE slack bound 로 오차를 정량화한다. 최종적으로 내·외부 도달가능 튜브를 엄격히 둘러싸는 인증된 구간을 제공하며, 딥 RL과 SMT 기반 검증을 결합한 이중 적분기 실험을 통해 실용성을 입증한다.

상세 분석

이 논문의 핵심은 ‘할인된 초기 시간 여행‑비용’(discounted travel‑cost) 형식을 도입함으로써 강화학습에서 사용되는 가치 반복(value iteration)이 감쇠(damping) 항을 포함한 전방 해밀턴‑자코비(HJ) 방정식과 수학적으로 동등함을 보인 점이다. 기존 HJ 도달가능성 분석은 보통 최적 제어 이론에 기반한 PDE 해석을 요구하지만, 여기서는 RL 에이전트가 학습한 가치 함수 (W_\lambda) 가 할인율 (\lambda) 를 포함한 HJB 방정식을 만족한다는 사실을 이용한다. 가장 혁신적인 부분은 ‘가산‑오프셋 정리(additive‑offset identity)’이다. 정리에서는 (W_\lambda) 가 HJB 방정식을 만족한다면, 상수 (\varepsilon) 를 더한 (W_\varepsilon = W_\lambda + \varepsilon) 도 동일한 PDE를 만족하되, 오른쪽 항에 (\lambda\varepsilon) 라는 일정한 오프셋이 추가된다는 것을 증명한다. 이 결과는 학습 과정에서 발생하는 균일한 가치 오차 (\varepsilon) 가 바로 HJB 방정식의 상수 항으로 해석될 수 있음을 의미한다. 따라서 가치 오차를 직접 측정하거나 상한을 구하면, 즉시 HJ 수준의 안전 보장을 위한 내부·외부 집합(enclosure)을 정의할 수 있다.

오차 정량화는 두 가지 경로로 전개된다. 경로 A는 벨먼 연산자 (T) 의 잔차 (|T\hat W - \hat W|) 를 이용해 (\varepsilon) 를 상한한다. 이는 강화학습에서 흔히 사용되는 정책 평가·정책 개선 루프의 수렴 특성을 그대로 활용한다. 경로 B는 HJB PDE 자체에 남는 slack term, 즉 (\lambda\varepsilon - (H(x,\nabla \hat W) + \lambda \hat W)) 의 최대값을 계산해 (\varepsilon) 를 추정한다. 두 방법 모두 수치적으로 계산 가능하며, 특히 딥 뉴럴 네트워크 기반 가치 근사기에 적용할 때는 자동 미분과 샘플링을 통해 효율적으로 구현된다.

이론적 결과를 검증하기 위해 저자들은 이중 적분기(double‑integrator) 시스템을 선택하였다. 시스템의 상태공간을 제한된 구역으로 정의하고, 딥 Q‑learning 변형으로 (W_\lambda) 를 학습한다. 이후 SMT(satisfiability modulo theories) 솔버를 이용해 (W_\lambda) 와 (W_\lambda \pm \varepsilon) 가 정의하는 레벨셋(level set)이 각각 실제 뒤로 도달 가능한 집합의 내부와 외부를 정확히 포함함을 형식적으로 증명한다. 이 과정에서 SMT는 연속적인 비선형 제약을 이산화된 근사와 결합해 안전 구간을 자동으로 검증한다. 결과적으로, 강화학습으로 얻은 근사 가치 함수가 전통적인 HJ 해석과 동일한 안전 의미를 유지함을 실험적으로 확인하였다.

본 프레임워크는 기존 HJ 도달가능성 분석이 요구하는 고차원 PDE 수치 해석의 계산 비용을 크게 낮추면서도, 안전 인증이라는 핵심 목표를 포기하지 않는다. 또한 딥 RL과 결합 가능하도록 설계돼, 복잡한 비선형 시스템이나 고차원 상태공간에서도 적용 가능성을 시사한다.