멀티모달 하이맵 생성용 하이브리드 자동인코더와 인간형 로봇 보행 제어

초록

본 논문은 Intel RealSense 깊이 카메라와 LIVOX MID‑360 LiDAR 데이터를 융합하고, CNN‑GRU 기반 하이브리드 인코더‑디코더 구조를 이용해 로봇 중심 높이맵을 실시간으로 재구성한다. 3.2 초의 시간적 컨텍스트와 7 cm·7 cm 해상도의 최적화된 그리드 설계가 보행 정책의 안정성을 크게 향상시킨다.

상세 분석

이 연구는 인간형 로봇이 복잡하고 비구조적인 실내·실외 환경을 안전하게 보행하기 위해, 외부 센서 데이터와 내부 상태 정보를 통합한 로봇 중심 높이맵을 중간 표현으로 채택한 점이 핵심이다. 기존의 단일 센서 파이프라인은 조명 변화, 표면 반사율, LiDAR의 처리 지연 등으로 인해 신뢰성이 떨어지는 반면, 본 논문은 두 센서의 상보적 특성을 결합한다. LiDAR는 거리 정확도가 높고 조명에 무관하지만 점밀도가 낮고 처리 비용이 크다. 반면 깊이 카메라는 고해상도 영상을 제공하지만 반사와 그림자에 취약하다. 이를 해결하기 위해 저자들은 LiDAR 포인트 클라우드를 276 × 40 해상도의 구면 투영(range image)으로 변환하고, 3 × 3 중간 필터와 행‑단위 gap‑filling을 적용해 비균일 해상도와 결측을 보정한다.

인코더‑디코더 구조는 두 개의 독립 CNN 인코더(깊이 이미지 160 × 120, LiDAR range image 276 × 40)를 사용해 각각 256 차원의 잠재 벡터를 추출한다. 여기에는 15 차원의 로봇 상태(IMU 기반 선·각속도, 위치, 자세)와 이전 타임스텝의 165 차원 높이맵 예측값이 추가로 결합되어 448 차원 멀티모달 표현을 만든다. 이 표현은 레이어 정규화와 ReLU를 거쳐 두 개의 stacked GRU(숨김 크기 256)로 전달되며, 시간적 일관성을 학습한다. 최종 디코더 헤드는 두 개의 완전 연결층을 통해 165 차원(0.98 m × 0.7 m, 7 cm 셀) 높이맵을 출력한다.

학습은 두 단계로 진행된다. 1단계에서는 각 모달리티에 대해 대칭형 자동인코더를 무감독 학습시켜 노이즈(표준편차 1 cm)와 3 % 영역의 임의 마스크를 적용한 데이터에 대한 복원 능력을 강화한다. 여기서는 픽셀‑단위 MSE 손실이 MAE, Huber, BerHu보다 일관적으로 우수함을 확인했다. 2단계에서는 사전 학습된 CNN 인코더를 고정하고, GRU 기반 시계열 디코더를 포함한 전체 EDS를 지도 학습한다. 400 k 샘플(70/15/15 비율)으로 AdamW와 plateau 학습률 스케줄을 사용해 40 epoch 동안 최적화하였다. 최종 모델은 10 Hz 실시간 속도로 추론 가능하다.

실험 결과, 다중 모달 융합은 깊이 전용(MAE = 2.36 cm) 및 LiDAR 전용(2.43 cm) 대비 각각 7.2 %·9.9 % 정확도 향상을 보였다. 3.2 초(32 타임스텝) 시간 창이 최적이며, 더 긴 6.4 초는 수렴 이득이 감소한다. 평탄하거나 완만한 지형에서는 MAE < 2 cm를 유지하지만, 계단과 같은 급격한 높이 변화를 가진 지형에서는 픽셀‑단위 MSE 손실 특성상 경사면으로 부드러워져 정확도가 떨어진다.

보행 정책 측면에서는 최적화된 높이맵이 사전 예측 행동(anticipatory gait)을 유도하고, 낙상 종료율을 70.1 % 감소시켰으며, 선형·각속도 추적 오차를 각각 25 %·17 % 개선하였다. 또한, 높이맵에 2 cm 표준편차까지의 가우시안 노이즈를 주입해도 안정적인 보행을 유지한다. 그러나 2 cm를 초과하는 노이즈나 급격한 높이 변화에 대해서는 성능이 급격히 저하된다.

본 논문의 한계는 2.5‑D 높이맵 표현이 급격한 수직 경계를 충분히 표현하지 못한다는 점이다. 픽셀‑단위 MSE 손실이 전역적인 평균에 초점을 맞추어 고주파 디테일을 희생시키며, 이는 계단이나 장애물 가장자리에서 착지 정확도를 저하시킨다. 또한, 현재 구현은 시뮬레이션 기반 데이터에 크게 의존하고 있어 실제 환경에서의 일반화 검증이 부족하다. 향후 연구에서는 고해상도 3‑D 볼류메트릭 표현과 멀티스케일 손실 함수를 도입해 급격한 지형 변화를 더 정확히 복원하고, 실제 로봇 실험을 통해 도메인 갭을 메우는 것이 필요하다.