다중 파편 제거 임무 최적화: 공동 타원 전이와 보급을 활용한 딥 강화학습

초록

본 논문은 저궤도(LEO)에서 다중 파편을 효율적으로 수거하기 위해 공동 타원(Hohmann) 전이와 안전 타원 접근을 결합한 통합 궤도 조정 프레임워크를 제시한다. 동일한 제약 하에 Greedy, MCTS, Masked PPO 세 알고리즘을 비교 실험했으며, Masked PPO가 파편 방문 수와 연산 속도 모두에서 우수한 성능을 보였다.

상세 분석

이 연구는 LEO에서 활성 파편 제거(ADR) 임무의 핵심 난제인 다중 목표 순회와 연료·시간 제약을 동시에 고려한 새로운 궤도 전이 모델을 제안한다. 기존의 Hohmann 전이는 두 궤도 사이의 최소 ΔV 경로를 제공하지만, 다수의 파편이 유사한 궤도대에 분포할 경우 연속적인 전이가 비효율적이다. 저자들은 ‘공동 타원(co‑elliptic) 전이’를 도입해, 목표 파편의 근점 혹은 원점과 동일한 고도·이심률을 갖는 중간 타원을 설정하고, 이를 통해 위상 차이를 자연스럽게 조정한다. 이 방식은 ΔV와 전이 시간을 동시에 절감하면서도, 필요 시 빠른 궤도 변경을 위한 여유를 남긴다.

전이 후에는 ‘안전 타원(safety ellipse)’ 접근을 적용한다. 이는 파편과의 최종 근접을 저속 타원 궤도로 제한해 충돌 위험을 최소화하고, 항법 오차에 대한 마진을 제공한다. 이러한 두 단계(공동 타원 전이 + 안전 타원 접근)를 하나의 연속적인 궤도 시퀀스로 통합함으로써, 실제 ADR 임무에서 요구되는 정밀 접근과 안전성을 동시에 만족한다.

연료 관리 측면에서는 ΔV를 연료 소비의 직접적인 대리 변수로 사용하고, 일정 ΔV 한도(예: 3 km/s)를 초과하면 반드시 보급 스테이션으로 복귀하도록 설계하였다. 복귀 시에는 ΔV가 완전히 회복되지만, 복귀·재정비에 소요되는 시간 페널티가 부과돼 과도한 보급 횟수를 억제한다. 이 논리적 구조는 임무 전체의 자원 최적화를 자연스럽게 유도한다.

알고리즘 비교에서는 세 가지 접근법을 동일한 시뮬레이션 환경에서 평가하였다. Greedy는 현재 상태에서 ΔV·시간 가중합을 최소화하는 단순 휴리스틱으로, 전역 최적화를 고려하지 않아 파편 방문 수가 1518개에 머문다. MCTS는 Upper Confidence Bound 기반 트리 탐색으로 미래 시나리오를 시뮬레이션하지만, 탐색 깊이와 시뮬레이션 수에 따라 연산 시간이 1,00010,000초로 급증한다. 반면 Masked PPO는 정책 그래디언트 방식에 행동 마스크를 적용해, 이미 방문한 파편이나 ΔV·시간 초과로 불가능한 행동을 사전에 차단한다. 이로써 학습 단계에서 불필요한 탐색을 줄이고, 실행 시 1~2초 내에 최적에 가까운 정책을 출력한다. 실험 100개의 무작위 파편 집합에서 Masked PPO는 평균 30.5개의 파편을 방문했으며, 이는 Greedy 대비 약 70 % 향상, MCTS 대비 약 5 % 향상이다. 또한 연산 효율성 측면에서 Greedy와 동등한 수준을 유지하면서도 품질은 크게 앞선다.

핵심 인사이트는 다음과 같다. 첫째, 공동 타원 전이와 안전 타원 접근을 결합한 물리 기반 궤도 모델이 다중 파편 순회에 필요한 ΔV·시간 절감을 실현한다. 둘째, 행동 마스크를 활용한 강화학습은 복잡한 제약(ΔV 한도, 보급 로직, 방문 불가 파편) 하에서도 정책 학습을 안정화시켜, 실시간 임무 계획에 적합한 성능을 제공한다. 셋째, 전통적인 탐색 기반 방법(MCTS)은 품질 면에서는 경쟁력이 있으나, 실시간 적용이 어려운 연산 비용이 큰 단점이 있다. 따라서 실제 ADR 시스템에서는 학습된 RL 정책을 온보드에 탑재하고, 필요 시 제한된 범위 내에서 MCTS와 같은 보조 탐색을 활용하는 하이브리드 접근이 유망하다.