다중 파편 회수 임무를 위한 강화학습 기반 연료 관리·충돌 회피 최적화

초록

본 연구는 소형 위성을 활용한 다중 파편 회수 임무에서 연료 보급과 실시간 충돌 회피를 동시에 고려한 강화학습 프레임워크를 제안한다. 마스크드 PPO 알고리즘을 이용해 위험 구역이 확률적으로 발생할 때 궤도 전이를 재계획하고, 파편 방문 후에만 가능한 재급유 결정을 학습한다. Iridium‑33 파편 데이터를 기반으로 10 백만 스텝을 학습한 결과, 기존 휴리스틱 대비 충돌 위험을 감소시키고 연료·시간 효율을 크게 향상시켰다.

상세 분석

이 논문은 현재 LEO(저궤도)에서 급증하고 있는 파편 문제를 해결하기 위해, 다중 목표 rendezvous 문제를 강화학습(MDP) 형태로 재구성한 점이 가장 큰 혁신이다. 상태공간에 위성의 현재 위치·속도, 연료 잔량, 각 파편의 케플러 요소, 방문 마스크, 재급유 가능 플래그, 충돌 위험 벡터 등을 모두 포함시켜, 실제 운용 환경을 고해상도로 모델링하였다. 행동공간은 ‘미방문 파편 선택’, ‘재급유’, ‘충돌 회피(위/아래)’ 로 제한하고, 마스크드 PPO를 통해 불가능한 행동을 사전에 차단함으로써 학습 안정성을 크게 높였다. 특히, 33 % 확률로 발생하는 5 km³ 크기의 큐보이드 위험 구역을 도입해, 전이 궤도가 위험 구역에 겹칠 경우 ‘CA Above’ 혹은 ‘CA Below’ 라는 두 가지 타원형 우회 궤도를 선택하도록 학습시켰다. 이는 전통적인 고정 안전 마진 방식보다 동적인 위험 회피를 가능하게 한다.

연료 관리 측면에서는 파편을 한 번이라도 방문한 뒤에만 재급유를 허용하고, 재급유 시점과 횟수에 페널티를 부여함으로써 불필요한 정지를 최소화하도록 설계하였다. 보상함수는 파편 방문 보상(δ_visit), 충돌 페널티(C_t), 연료·시간 초과 페널티(T_penalty) 로 구성돼, 다목표 최적화와 안전성을 동시에 유도한다.

학습은 Stable‑Baselines3 기반으로 10 백만 스텝, 8 백만~10 백만 단계의 분산 샘플링을 사용했으며, 100개의 테스트 시나리오에서 그리디 및 하이브리드(유전 알고리즘+그리디) 기법과 비교하였다. 결과는 평균 방문 파편 수, 총 Δv 절감, 충돌 발생 횟수 모두에서 RL 에이전트가 우수함을 보여준다. 특히, 위험 구역이 발생했을 때 즉시 재계획하고 연료 소모를 최소화하는 전략이 눈에 띈다.

한계점으로는 Hohmann 전이만을 사용해 궤도 전이 모델을 단순화했으며, 실제 재급유 인프라(예: 궤도 연료 보급 모듈)의 물리적 제약을 완전하게 반영하지 못했다는 점이다. 또한, 위험 구역을 큐보이드 형태와 고정 확률로 모델링했기 때문에, 실제 복잡한 충돌 확률 분포를 완전하게 대변하지 못한다. 향후 연구에서는 다중 궤도 전이(다중 단계, 비공전 궤도)와 보다 정교한 위험 모델, 그리고 실제 재급유 시스템과의 연동을 고려할 필요가 있다.

전반적으로, 이 논문은 강화학습을 통한 동적 임무 재계획, 연료 관리, 충돌 회피를 하나의 통합 프레임워크로 구현함으로써, 차세대 소형 위성 기반 ADR(Active Debris Removal) 임무 설계에 실용적인 길잡이가 될 수 있다.