하이퍼소닉 장거리 비행을 위한 안전 강화 강화학습과 실행 가능성 기반 행동 차폐

초록

본 논문은 연속적인 상태·입력 공간을 갖는 비선형 하이퍼소닉 종축 비행 시스템에 대해, 물리적 제약을 하드 제약으로 독립적으로 보장하는 안전 강화학습 프레임워크를 제시한다. 안전 박스 내·외부에 따라 보상이 전환되는 모드‑종속 보상 설계와, 오프라인 도달 가능성 분석을 통해 사전 계산된 실행 가능 행동 집합을 이용한 행동 차폐를 결합한다. 연속 dynamics를 유한 상태 추상화로 이산화하고, admissible action mask에 일관되게 제한된 탭ular Q‑학습을 수행한다. 실험은 공기역학·추진 결합을 포함한 점질량 하이퍼소닉 차량 모델에 적용되어, 안전 제약을 위반하지 않으면서 목표 궤적을 추적하고, 비안전 영역에서 회복 행동을 학습함을 보인다.

상세 분석

이 연구는 안전‑중심 강화학습을 구현하기 위해 세 가지 핵심 기술을 융합한다. 첫째, 상태 공간을 ‘안전 박스’와 ‘비안전 영역’으로 명시적으로 분할하고, 각 영역에 서로 다른 보상 함수를 할당한다. 안전 영역에서는 목표 궤적 추적 오차를 최소화하는 정밀 보상이 주어지고, 비안전 영역에서는 안전 박스로 복귀하도록 유도하는 회복 보상이 적용된다. 이러한 모드‑종속 보상은 MDP의 전이 확률이나 시스템 역학을 변경하지 않으면서도 정책이 상황에 맞는 행동을 선택하도록 유도한다.

둘째, 행동 차폐는 단순히 순간적인 제약 위반을 막는 것이 아니라, 오프라인 도달 가능성 분석을 통해 ‘전달 가능’한 상태 집합을 계산한다. 연속 상태를 격자화하고, 각 격자에 대해 미래에 안전 집합을 유지할 수 있는 입력 집합을 고정점 연산으로 도출한다. 이 과정에서 ‘비실현 가능’한 행동, 즉 현재는 안전하더라도 이후에 제약을 회복할 수 없는 행동을 사전에 제거한다. 결과적으로 admissible action set은 시간에 따라 변하지 않으며, 학습·실행 단계 모두에서 동일하게 적용된다.

셋째, 탭ular Q‑학습을 수행할 때, 행동 선택뿐 아니라 벨만 업데이트 역시 admissible action set에 제한한다. 기존 연구에서 보고된 ‘마스크 불일치’에 의한 낙관적 편향을 방지하기 위해, 각 상태‑행동 쌍에 대해 유효한 행동만을 대상으로 Q‑값을 업데이트한다. 또한, 제어 명령의 연속성을 확보하기 위해 현재 명령과 인접한 행동을 우선적으로 선택하는 지역‑우선 선택 메커니즘을 도입했으며, 이는 급격한 제어 변동을 억제하면서도 안전성을 유지한다.

학습 효율을 높이기 위해 ‘에피소드 체이닝’ 기법을 적용한다. 에피소드 종료 시점의 상태를 다음 에피소드의 초기 상태로 전달함으로써, 장기 회복 행동을 연속적으로 학습한다. 단, 하드 제약 위반이 발생하면 체이닝을 중단해 비실현 가능 초기 조건이 전파되는 것을 차단한다.

실험에서는 고도·속도·비행경로각·질량을 포함하는 4차원 연속 상태와, 각도·스로틀을 제어 입력으로 하는 점질량 하이퍼소닉 모델을 사용한다. 중력·대기 밀도·음속·공기역학 계수·추진 매핑을 고도·마하 의존적으로 정의하고, 열 부하와 구조적 하중 제한을 포함한 물리적 제약을 명시한다. 시뮬레이션 결과, 제안된 프레임워크는 안전 박스 내에서 목표 고도·속도·비행경로각을 정확히 추적하고, 비안전 영역에 진입했을 때도 허용된 행동 집합 내에서 빠르게 복구한다. 특히, 행동 차폐와 도달 가능성 기반 admissible set이 하드 제약 위반을 0%로 유지하면서도 학습 수렴 속도를 크게 저해하지 않는다는 점이 강조된다.

전반적으로 이 논문은 연속 비선형 항공우주 시스템에 대해, 물리적 제약을 하드 코딩하고, 도달 가능성 분석을 통해 사전 검증된 행동 집합을 활용함으로써, 안전을 보장하면서도 효율적인 온라인 학습을 가능하게 하는 실용적인 방법론을 제시한다.