우주 근접 작전을 위한 메타강화학습 기반 적응형 입력제약 제어배리어 함수

초록

본 논문은 우주선 근접 작전에서 연료 절감과 안전성을 동시에 달성하기 위해, 입력제약 제어배리어 함수(ICCBF)의 클래스‑K 함수 계층을 파라미터화하고 메타‑강화학습으로 학습한다. 차분대수(DA)를 이용해 시간‑샘플링 마진을 효율적으로 계산하고, MLP와 LSTM 정책을 통해 숨겨진 물리 파라미터와 불확실성에 적응한다. 시뮬레이션 결과, 기존 고정 클래스‑K ICCBF 대비 연료 사용량이 감소하고, 안전성은 유지되며, 특히 복잡한 검사 임무에서 LSTM이 뛰어난 성능을 보였다.

상세 분석

이 연구는 기존 ICCBF가 보수적이며 불확실성에 취약한 문제점을 정확히 짚어낸다. 저자는 클래스‑K 함수 α_i 를 양의 스칼라 이득 θ_i,k 로 파라미터화하여, 각 샘플링 순간마다 상태에 기반해 동적으로 조정하도록 설계하였다. 이는 안전 집합 C★의 형태를 실시간으로 최적화함으로써, 입력 제한 하에서도 더 넓은 실현 가능 영역을 확보한다는 점에서 혁신적이다. 시간‑샘플링 구현 시 발생하는 인터샘플 위험을 최소화하기 위해, 차분대수(DA)를 활용해 Lipschitz 상수와 최대 속도 Δ(x)를 상한으로 계산하고, 이를 마진 ν(T,x) 로 삽입한다. 기존의 수치 최적화 기반 마진 계산보다 계산량이 크게 감소하면서도 충분히 보수적인 상한을 제공한다는 점이 실용성을 높인다. 메타‑강화학습 프레임워크는 물리 파라미터(질량, 최대 추력 등)와 외란 분포의 변동성을 task distribution 으로 정의하고, 정책 π_ψ 를 통해 θ_k 와 CLF 이득 c_V,k 를 출력한다. 특히 LSTM 기반 정책은 내부 상태 s_k 를 유지함으로써, 관측만으로는 식별하기 어려운 숨겨진 파라미터를 에피소드 내에서 추정하고, 이에 맞춰 클래스‑K 파라미터를 빠르게 적응한다. 실험에서는 1‑D 크루즈 컨트롤, 2‑D 도킹, 3‑D 검사 시나리오를 통해 연료 소비 감소율이 각각 약 12 %, 15 %, 18 %에 달함을 보였으며, 안전 위반 사례는 모두 0%였다. 특히 복잡한 3‑D 검사에서는 LSTM 정책이 MLP 대비 더 낮은 연료 사용과 빠른 목표 달성을 기록했다. 이러한 결과는 메타‑RL이 다중 불확실성 환경에서 ICCBF 파라미터를 효율적으로 튜닝할 수 있음을 입증한다.