에너지 효율적인 하이브리드 로봇을 위한 공중‑지면 연동 제어 학습

초록

본 논문은 하이브리드 비행‑주행 로봇이 계단형 불연속 지형을 효율적으로 넘을 수 있도록, 전기 에너지 소비를 직접 보상에 포함한 강화학습 프레임워크를 제안한다. 시뮬레이션에서 연속적인 정책이 프로펠러, 바퀴, 틸트 서보를 동시에 조절해 ‘추력 보조 주행’ 전략을 스스로 발견했으며, 기존 프로펠러 전용 제어 대비 4배, 실제 DoubleBee 프로토타입에서는 규칙 기반 디커플드 컨트롤 대비 38% 전력 절감 효과를 보였다.

상세 분석

이 연구는 하이브리드 로봇의 에너지 효율성을 최적화하기 위해 두 가지 핵심 아이디어를 결합한다. 첫 번째는 강화학습(MDP) 환경에 실제 전기 소비 모델을 삽입한 점이다. Isaac Lab 시뮬레이터 내에서 프로펠러의 PWM‑thrust‑power 관계를 실험적으로 캘리브레이션하고, 보상 함수에 전력 사용량을 직접 페널티로 포함함으로써 정책이 “전력 절감”을 목표로 행동을 선택하도록 유도한다. 두 번째는 모드‑프리 연속 제어이다. 기존 하이브리드 시스템은 ‘비행’과 ‘주행’이라는 이산 모드를 사전에 정의하고 전환 로직을 설계한다. 여기서는 6차원 연속 액션(두 바퀴 속도, 두 서보 각도, 두 프로펠러 스로틀)만을 출력하도록 정책을 설계하고, 로봇이 스스로 언제 어느 정도의 추력을 사용해 지면 접촉을 보조할지 학습한다.

시뮬레이션 설정은 10 × 10 m 규모의 피라미드형 계단 지형을 절차적으로 생성하고, 난이도 파라미터 d를 통해 단계 높이를 0.01 m에서 0.126 m까지 변화시킨다. 로봇은 매 스텝마다 로컬 6 × 6 높이 스캔(36 값)과 관성·속도·중력 방향 등 23개의 관측을 받아, 목표 방향 벡터와 함께 정책에 입력한다. 보상은 목표 도달 보너스, 자세·속도 안정성 페널티, 그리고 전력 사용량 페널티로 구성되며, 각 항목에 가중치를 조정해 학습이 안정적으로 수렴하도록 설계했다.

학습 결과, 정책은 “추력 보조 주행(thrust‑assisted driving)”이라는 새로운 행동 양식을 스스로 발견한다. 이는 프로펠러가 완전한 양력을 제공하지는 않지만, 바퀴와 결합해 지면 마찰을 보강하고, 특히 계단 가장자리에서 바퀴가 미끄러지거나 정지할 위험을 감소시킨다. 시뮬레이션에서는 동일한 목표를 프로펠러 전용 제어와 비교했을 때 평균 전력 소비가 약 4배 감소했으며, 성공률도 유지되었다.

실제 하드웨어 전이에서는 DoubleBee 프로토타입을 8 cm 간격의 갭을 넘는 과제에 적용했다. 정책은 시뮬레이션에서 학습된 파라미터와 동일한 액추에이터 모델을 사용했으며, 시뮬레이션‑실제 간 차이를 보정하기 위해 노이즈와 파라미터 랜덤화를 적용했다. 실험 결과, 규칙 기반 디커플드 컨트롤(프로펠러와 바퀴를 별도 모드로 운용) 대비 평균 전력 소비가 38% 감소했으며, 목표 지점을 안정적으로 도달했다. 이는 에너지‑인식 강화학습이 실제 하드웨어에서도 유효함을 입증한다.

본 논문의 주요 기여는 다음과 같다. (1) 전력 모델을 보상에 직접 통합한 에너지‑인식 강화학습 프레임워크 제시, (2) 사전 정의된 모드 없이 연속적인 액추에이터 조합을 학습해 효율적인 하이브리드 구동 전략을 자동으로 도출, (3) 대규모 시뮬레이션‑실제 전이 과정을 통해 실제 로봇에 적용 가능한 정책을 구현. 이러한 접근은 향후 복잡한 도시 환경, 재난 현장 등에서 하이브리드 로봇이 에너지 제약 하에 지속적으로 작동하도록 하는 데 중요한 기반이 될 것이다.