꿈을 뛰어넘는 사족보행 로봇: 멀티모달 강화학습 기반 장애 인지 제어

초록

**
DreamWaQ++는 프로프리오셉션과 외부 센서를 융합한 멀티모달 강화학습 프레임워크로, 단일 신경망이 다양한 지형(거친 지면, 급경사, 고층 계단 등)을 실시간으로 인식하고 안정적인 보행을 수행한다. 시뮬레이션·실험에서 높은 적응성·강인성을 입증했으며, 센서 종류에 구애받지 않는 설계가 특징이다.

**

상세 분석

**
본 논문은 사족보행 로봇의 실세계 적용에 있어 가장 큰 제약인 ‘감각 지연·불확실성’ 문제를 해결하고자 한다. 기존의 블라인드(프로프리오셉션 전용) 제어는 발이 실제로 충돌해야 장애를 감지하므로 급격한 지형 변화에 대한 사전 회피가 불가능했다. 반면 외부 센서(깊이 카메라·LiDAR)를 활용한 방법은 고정밀 지도 구축을 전제하거나 높은 연산 비용을 요구한다. DreamWaQ++는 두 감각을 동시에 활용하면서도 센서‑agnostic 구조를 채택한다는 점에서 차별화된다.

1. 멀티모달 인코더 설계

   • 프로프리오셉션(IMU·관절 각·속도·바디 자세)과 외부 3D 포인트 클라우드(10 Hz)를 각각 전용 인코더에 입력한다.
   • 외부 인코더는 PointNet 기반에 신뢰도 필터를 추가해 고분산·노이즈가 큰 포인트를 억제하고, max‑pooling으로 압축된 컨텍스트 zₑₜ를 생성한다.
   • 프로프리오셉션 인코더는 기존 CENet을 MLP‑Mixer로 교체해 시공간적 상호작용을 강화, 연속적인 관절·동작 정보를 효율적으로 요약한다.

2. 계층적 외부 메모리

   • 외부 센서는 제어 주기(50 Hz)보다 낮은 샘플링 레이트를 가지므로, 최근 K = 5개의 포인트 클라우드를 SE(3) 변환을 통해 현재 로봇 프레임에 정렬한다.
   • 이 과정을 통해 시간적으로 밀집된 외부 관측을 재구성하고, 복잡한 3D 재구성 네트워크 없이도 충분한 지형 정보를 제공한다.

3. 강화학습 및 메타‑학습 구조

   • PPO 기반 비대칭 actor‑critic을 사용한다. Actor는 실제 로봇에서 얻는 노이즈가 섞인 관측(oₚₜ, zₑₜ)을 입력으로, Critic은 시뮬레이션에서만 접근 가능한 ‘privileged state’를 활용해 안정적인 가치 추정이 가능하도록 설계했다.
   • 학습 단계에서 광범위한 도메인 랜덤화(지형 높이, 마찰계수, 외부 센서 노이즈, 센서 위치 오프셋 등)를 적용해 OOD 상황에 대한 일반화 능력을 강화했다.
   • 추가적인 스킬 디스커버리 보상(다양한 보행 패턴을 유도)와 컨텍스트 정규화(신뢰도 마스크와 MLP‑Mixer)로 정책이 보수적이기보다 탐색적·다양한 gait를 학습하도록 유도했다.

4. 실험 및 결과

   • Unitree Go1에 실시간(50 Hz)으로 배포했으며, 별도 파인튜닝 없이 8가지 복합 지형(계단 상승·하강, 틈새 점프, 변형 지면, 움직이는 플랫폼, 35° 경사 등)을 성공적으로 통과했다.
   • Ablation study에서 외부 인코더의 신뢰도 필터와 멀티모달 믹서가 각각 12%·9% 정도 성공률을 향상시켰으며, Privileged Critic 없이도 정책이 급격히 불안정해짐을 확인했다.
   • 비교 실험에서는 기존 블라인드 RL(only proprioception)과 지도 기반 방법에 비해 충돌 회피율이 45% 감소하고, 전반적 속도·에너지 효율이 18% 향상되었다.

5. 한계와 향후 과제

   • 현재는 10 Hz 외부 센서에 최적화돼 있어 고속 이동 시(>1 m/s) 지연이 발생할 가능성이 있다.
   • 메모리 K값과 변환 정확도에 의존하므로, 장시간 누적된 포즈 드리프트가 심한 경우 재보정 메커니즘이 필요하다.
   • 멀티로봇 협업이나 동적 장애물(움직이는 사람·동물) 대응을 위해 동적 객체 추적 모듈을 추가하는 것이 자연스러운 확장이다.

**