실내 화재 진압을 위한 적응형 사다리 오르기 로봇: 엔드‑투‑엔드 강화학습 접근

초록

본 논문은 실내 화재 현장에서 4족 로봇이 다양한 형태의 계단을 빠르고 안정적으로 오를 수 있도록, 두 단계의 엔드‑투‑엔드 강화학습 프레임워크를 제안한다. 첫 단계에서는 추상적인 피라미드‑계단 지형에서 기본적인 계단 오르기 기술을 습득하고, 두 번째 단계에서는 실제 건물에 존재하는 직선, L‑형, 나선형 계단으로 확장한다. 로봇은 로컬 높이‑맵만을 이용해 중심선 추적 네비게이션을 수행하며, 정책은 PPO 기반으로 학습된다. 실험 결과, 제안된 방법은 다양한 계단 형태에 대해 높은 성공률과 효율성을 보이며, 실패 원인도 체계적으로 분석한다.

상세 분석

이 연구는 실내 화재 초동 탐색이라는 고위험·고복잡도 작업을 위해 4족 로봇(Unitree Go2)의 계단 오르기 능력을 강화학습으로 획득하는 방법론을 제시한다. 가장 큰 공헌은 “두 단계(2‑stage) 전이 학습” 구조에 있다. 첫 단계에서는 Isaac Lab이 제공하는 피라미드‑계단 지형을 이용해 기본적인 보행·계단 상승 동작을 학습한다. 이 단계는 환경이 규칙적이고 난이도가 단계적으로 증가하도록 설계된 커리큘럼을 사용해 학습 효율을 극대화한다. 여기서 얻은 정책 파라미터는 두 번째 단계의 초기화값으로 활용되며, 이는 “전이 학습”이라는 형태로 기존 연구보다 빠른 수렴과 높은 일반화를 가능하게 한다.

두 번째 단계에서는 실제 건물에 존재할 법한 세 가지 계단 형태(직선, L‑형, 나선형)를 Isaac Lab 엔진 내에 맞춤형 지형으로 구현한다. 중요한 점은 로봇이 전역 지도 없이 로컬 높이‑맵(21×21, 해상도 0.2 m)만을 입력으로 사용한다는 것이다. 이는 화재 현장에서 연기·연기‑가시성 저하 등으로 전역 센서가 제한될 때도 작동 가능한 인식 체계를 의미한다. 높이‑맵은 CNN 인코더를 통해 128 차원 특성 벡터로 압축되고, 이와 proprioceptive 정보(관절 위치·속도, 몸체 선형·각속도, 중력 벡터 등)가 MLP에 결합돼 12 자유도 관절 위치 명령을 출력한다. 정책과 가치 함수가 동일한 CNN 인코더를 공유함으로써 파라미터 효율성을 높이고, 학습 안정성을 확보한다.

보상 설계는 두 단계에 걸쳐 차별화된다. 1단계에서는 목표 지점까지의 유클리드 거리 기반 “거친”·“세밀” 네비게이션 보상이 적용돼, 로봇이 목표에 접근하는 행동을 장려한다. 2단계에서는 중심선(센터라인) 추적 보상과 경로 보상이 도입된다. 중심선 보상은 로봇이 계단 중앙을 유지하도록 유도하고, 경로 보상은 목표까지의 진행 거리를 중심선에 근접했을 때만 부여함으로써, 로봇이 계단 가장자리에서 미끄러지거나 충돌하는 위험을 감소시킨다. 또한 헤딩 트래킹 페널티, 관절 제한·전력·토크 페널티 등 다양한 정규화 항이 포함돼, 비현실적인 급가속·과도한 관절 움직임을 억제한다.

학습 알고리즘은 on‑policy PPO를 사용한다. PPO는 클리핑 기법을 통해 정책 업데이트 시 급격한 변화를 방지하고, 샘플 효율성을 유지한다. 논문에서는 각 단계별 학습 에피소드 수, 배치 크기, 학습률 등 구체적인 하이퍼파라미터를 명시하지 않았지만, 커리큘럼 기반 난이도 상승(계단 높이 0 cm→12 cm, 폭 2.0 m→1.4 m, 길이 증가)과 결합해 학습 속도가 크게 향상된 것으로 보고한다.

실험 결과는 정책의 일반화 능력을 입증한다. 동일한 정책이 직선, L‑형, 나선형 계단 모두에서 높은 성공률(>90 %)을 기록했으며, 평균 상승 시간과 에너지 소비도 계단 형태에 크게 의존하지 않았다. 실패 사례는 주로 급격한 높이 변화(12 cm 초과)와 좁은 폭(≤1.2 m)에서 발생했으며, 이는 보상 함수에 포함된 “중심선 유지”와 “충돌 페널티”가 충분히 강하지 않을 경우 발생한다는 분석을 제공한다. 또한 시뮬레이션 기반 결과이지만, Isaac Lab의 Sim‑to‑Real 파이프라인을 활용해 실제 Unitree Go2에 전이 가능성을 시사한다.

전체적으로 이 논문은 (1) 전이 학습 기반 두 단계 학습 프레임워크, (2) 로컬 높이‑맵만을 이용한 센터라인 네비게이션, (3) 복합 보상 설계와 정규화 항을 통한 안정적 정책 학습, (4) 다양한 계단 형태에 대한 정책 일반화와 실패 모드 분석이라는 네 가지 핵심 기여를 제공한다. 특히 화재 현장과 같이 환경이 급변하고 센서 가시성이 제한된 상황에서도 로봇이 자율적으로 계단을 오를 수 있는 실용적인 솔루션을 제시한다는 점에서 로보틱스·재난 대응 분야에 큰 의미를 가진다.