자전거와 안전하게 교차하는 자율주행: 해밀턴 자코비와 강화학습의 융합

초록

본 논문은 해밀턴‑자코비(HJ) 도달가능성 분석으로 얻은 안전 가치 함수를 보상으로 활용하고, 이를 딥 Q‑러닝과 결합해 자전거와의 상호작용에서 안전성과 시간 효율성을 동시에 만족하는 주행 정책을 학습한다. 사이클리스트의 불편감(comfort)을 교란(disturbance) 입력으로 모델링하고, 실제 자연주의 데이터베이스를 이용해 시뮬레이션 검증을 수행한다.

상세 분석

이 연구는 두 가지 핵심 기술을 통합한다. 첫째, 시간‑종속 해밀턴‑자코비‑벨만(HJ‑B) 방정식의 해를 이용해 3차원 상태공간(Δx, Δv, Δy)에서 후방 도달가능 집합(backward reachable set)을 계산하고, 각 상태에 대한 안전 가치 v(s,t)를 정의한다. 이 가치가 양수이면 충돌 회피가 가능하고, 음수이면 충돌이 불가피하다는 이진 판단을 제공한다. 둘째, 이 안전 가치를 구조화된 보상으로 삽입한 딥 Q‑네트워크(DQN)를 학습시켜, 순수 HJ 기반 정책이 지나치게 보수적인 문제를 완화한다.

특히 사이클리스트의 교란 입력 d를 “편안함 수준”이라는 잠재 변수로 모델링한다는 점이 독창적이다. 저자는 자동인코더 기반 이상 탐지 방식을 사용해 안전·위험 상태를 구분하고, 재구성 오차를 통해 사이클리스트가 불편함을 느끼는 상황을 추정한다. 이렇게 얻어진 매핑 w(Δx,Δv,Δy,Δa)→