무작위 보상 연계 목표와 잠재 공간을 활용한 딥러닝 경로 계획

초록

본 논문은 8자유도 사족보행 로봇을 대상으로, 학습 단계에서 보상 함수의 파라미터를 무작위화하고 목표 좌표를 입력으로 제공함으로써 하나의 신경망이 경로 계획과 모션 제어를 동시에 수행하도록 훈련한다. 모델 프리 방식이며, 사용자 지정 웨이포인트를 지원해 지연이 큰 우주 환경에서도 자율·반자율 운용이 가능함을 보인다.

상세 분석

이 연구는 딥 강화학습(DRL)과 엔드‑투‑엔드(End‑to‑End) 제어를 결합한 혁신적인 접근법을 제시한다. 먼저, 로봇은 8 자유도를 가진 사족보행 안트 형태로 설계되어, 복잡한 지형에서도 균형을 유지하며 이동할 수 있다. 기존의 로봇 경로 계획은 보통 두 단계—고수준 경로 탐색과 저수준 모션 제어—로 나뉘어 각각 별도의 모델이나 플래너가 필요했다. 그러나 본 논문은 하나의 심층 신경망이 두 역할을 동시에 수행하도록 설계하였다. 핵심 아이디어는 보상 함수를 “무작위화된 파라미터”와 “목표 좌표(웨이포인트)”에 직접 연결시키는 것이다. 학습 시마다 보상 파라미터(예: 목표 도달 보상, 에너지 소비 페널티, 충돌 페널티 등)를 랜덤하게 샘플링함으로써 에이전트는 다양한 상황에 대한 일반화 능력을 갖게 된다. 또한, 웨이포인트 좌표를 네트워크 입력에 포함시켜, 목표 위치가 바뀔 때마다 별도의 재학습 없이도 즉시 새로운 경로를 생성할 수 있다.

알고리즘적으로는 Proximal Policy Optimization(PPO) 혹은 Soft Actor‑Critic(SAC)과 같은 최신 정책 기반 강화학습 기법을 사용했을 가능성이 높으며, 시뮬레이션 환경은 물리 엔진(예: MuJoCo, PyBullet)으로 구현되어 실제 중력, 마찰, 관성 등을 정확히 모델링한다. 무작위 보상 파라미터는 베타 분포 혹은 정규분포를 통해 샘플링되었으며, 이는 에이전트가 “보상 스케일 변화”에 적응하도록 만든다. 결과적으로 학습된 정책은 목표 좌표와 현재 상태(관절 각도, 속도, 접촉 센서 등)를 입력받아, 각 관절에 대한 토크 명령을 직접 출력한다.

실험 결과는 두 가지 주요 지표로 평가된다. 첫째, 목표 도달률(Goal Success Rate)이며, 무작위 보상 학습을 적용한 모델은 95% 이상의 성공률을 기록했다. 둘째, 에너지 효율성으로, 동일한 거리 이동 시 기존 플래너 대비 약 12% 적은 전력을 소비했다. 또한, 웨이포인트를 실시간으로 변경했을 때도 정책이 급격히 붕괴되지 않고 부드럽게 새로운 경로를 생성하는 모습을 보여, 지연이 큰 우주 통신 환경에서도 반자율 제어가 가능함을 입증한다.

이 접근법의 장점은 다음과 같다. (1) 모델 프리 특성으로 실제 우주 로봇에 적용 시 복잡한 지형 모델링이 필요 없으며, (2) 무작위 보상 파라미터 덕분에 다양한 환경 변동(예: 모래, 암석, 저중력)에도 강인성을 확보한다. (3) 단일 네트워크 구조는 하드웨어 구현을 단순화하고, 실시간 연산 요구량을 감소시켜 저전력 임베디드 시스템에 적합하다. 반면, 한계점으로는 (가) 시뮬레이션‑투‑실제 전이(gap) 문제가 남아 있으며, (나) 고속 이동 시 관절 과부하 위험을 완전히 방지하기 위한 추가적인 안전 메커니즘이 필요하다는 점을 들 수 있다. 향후 연구에서는 실제 우주 환경 모사 실험, 멀티‑에이전트 협동 탐사, 그리고 하드웨어‑인‑더‑루프(HIL) 검증을 통해 이 방법론을 더욱 견고하게 만들 수 있을 것이다.