다중전문 보행 정책을 위한 실현가능성 기반 경로 계획

초록

본 논문은 지형별 특화된 보행 정책과 각각에 대응하는 Feasibility‑Net을 결합해, 고전적인 그래프 탐색 기반 플래너가 각 정책의 실제 주행 가능성을 직접 활용하도록 설계하였다. 로컬 고도맵과 목표 속도 벡터를 입력으로 하여 정책별 실현가능성 텐서를 예측하고, 이를 방향성 비용 맵으로 변환·융합함으로써 복합 지형에서도 해석 가능하고 확장성이 높은 최적 경로를 생성한다. 실험 결과 시뮬레이션과 실제 로봇에서 기존 계층형 학습 플래너 대비 높은 성공률과 낮은 재학습 비용을 보였다.

상세 분석

이 연구는 다중 전문 보행 정책을 통합하는 기존 방법들의 근본적인 한계를 정확히 짚어낸다. 전통적인 비용맵 기반 플래너는 이진 장애물 분류에 머물러 방향 의존성을 반영하지 못하고, 새로운 정책이 추가될 때마다 비용 파라미터를 재조정해야 하는 비효율성을 가진다. 반면 계층형 강화학습 플래너는 정책 선택 과정을 블랙박스로 전환시켜 해석 가능성을 크게 저하시킨다. 논문은 이러한 문제점을 해결하기 위해 ‘Feasibility‑Net’이라는 두 가지 역할을 수행하는 신경망을 도입한다. 첫째, 로컬 고도맵과 목표 속도(태스크 벡터)를 입력받아 해당 정책이 특정 방향으로 이동했을 때 기대되는 속도 추적 보상을 확률적 실현가능성 점수(0~1)로 출력한다. 둘째, 변분 오토인코더(VAE) 분기를 통해 훈련 시 사용된 지형 분포를 모델링하고, 재구성 오차를 OOD(Out‑Of‑Distribution) 지표로 활용한다. 이 OOD 가중치는 실시간으로 실현가능성 점수에 곱해져, 훈련 데이터와 크게 벗어나는 지형에서는 보수적으로 판단하도록 설계되었다.

학습 단계에서는 정책과 Feasibility‑Net을 동일한 환경 롤아웃 데이터를 공유하면서 동시에 최적화한다. 정책은 PPO 기반 액터‑크리틱으로 목표 속도 추적을 학습하고, Feasibility‑Net은 L2 회귀 손실과 VAE 손실을 가중합한 복합 손실(L_feas)로 훈련된다. 이렇게 공동 학습함으로써 정책은 지형에 특화된 행동을 자연스럽게 습득하고, Feasibility‑Net은 그 행동의 성능을 정확히 예측하는 모델이 된다.

배포 시에는 전체 고도맵을 슬라이딩 윈도우 방식으로 스캔한다. 각 윈도우는 사전에 정의된 d=8개의 방향(45° 간격)으로 회전되어 Feasibility‑Net에 입력되고, 방향별 실현가능성 점수가 얻어진다. 결과는 W×H×8 차원의 텐서로 축적되며, 각 채널은 해당 위치에서 특정 방향으로 이동할 때의 성공 확률을 의미한다. 이후 다중 정책 텐서는 ‘최대값 융합(max‑fusion)’ 전략으로 결합되어 하나의 통합 비용 맵을 만든다. 이 비용 맵은 전통적인 A* 혹은 D*와 같은 그래프 탐색 알고리즘에 바로 적용 가능하며, 탐색 과정에서 선택된 정책은 비용값과 직접 연결되므로 인간이 이해하기 쉬운 형태로 제공된다.

핵심 기여는 세 가지이다. 첫째, 정책‑특화 실현가능성 추정 프레임워크를 제안해, 각 정책의 실제 주행 능력을 정량화한다. 둘째, 정책 학습과 실현가능성 학습을 하나의 파이프라인으로 통합해 별도 데이터 생성이나 추가 학습 없이도 효율적인 공동 최적화를 가능하게 한다. 셋째, 방향성 실현가능성 텐서와 VAE 기반 OOD 가중치를 도입해, 기존 플래너가 갖지 못한 지형 친숙도와 불확실성 처리를 제공한다. 이러한 설계는 새로운 정책을 추가할 때 기존 모델을 재학습할 필요가 없으며, 시스템 전체의 확장성을 크게 향상시킨다. 실험에서는 시뮬레이션 환경의 복합 지형(경사, 계단, 미끄러운 표면)과 실제 로봇(Spot‑like 사족보행 로봇)에서 기존 계층형 플래너 대비 20% 이상 높은 성공률과 30% 이하의 경로 길이 증가율을 기록하였다.