모델 기반 데이터 효율적 로봇 에너지 최적화 강화학습

초록

본 논문은 시스템 동역학 모델을 먼저 학습한 뒤, 고수준 최적화와 저수준 피드백 제어를 결합한 두 단계 구조의 모델 기반 강화학습 방법을 제안한다. 경로는 고정하고 속도·가속도를 조절해 에너지 소비를 최소화하면서 속도 제한과 완료 시간 제약을 만족한다. 제안 방법은 모델‑프리 방식에 비해 데이터 효율성이 높고, 미포함 고주파 동역학에 대한 강인성이 뛰어나며, TD3·SAC 등 기존 액터‑크리틱 알고리즘 대비 100배 이상 적은 학습 단계로 에너지 절감 효과를 달성한다.

상세 분석

이 연구는 강화학습(RL) 분야에서 모델‑프리와 모델‑베이스 접근법의 근본적인 차이를 실험적으로 검증한다. 모델‑프리 RL은 상태·행동 데이터를 직접 이용해 Q‑함수나 정책을 추정하지만, 고주파 미포함 동역학이나 외란에 취약해 학습 과정에서 불안정하거나 보상 함수를 설계하기 어려운 문제가 있다. 반면, 저자들은 물리적 사전 지식을 활용해 간단한 선형·비선형 회귀 모델을 먼저 식별하고, 이를 기반으로 최적의 속도 프로파일을 설계한다(Temporal Optimization). 이 고수준 최적화는 경로가 주어졌을 때 시간·에너지 제약을 명시적으로 포함할 수 있어, 제약 위반을 보상 함수에 간접적으로 반영해야 하는 모델‑프리 방식보다 설계가 직관적이다.

피드백 제어는 모델 오차와 외란을 보상하도록 설계된 저수준 루프이며, 이는 모델‑베이스 설계의 모듈화된 구조를 강조한다. 즉, 모델 식별 → 최적화 → 피드백 제어라는 순차적 파이프라인을 통해 각 단계별 검증과 튜닝이 가능하다. 실험에서는 전기 트럭과 로봇 차량의 에너지 최적화 시나리오를 사용했으며, TD3와 SAC 같은 최신 액터‑크리틱 알고리즘과 비교했을 때, 동일한 목표(에너지 최소화·시간 제약 만족)를 달성하는 데 필요한 시뮬레이션 스텝 수가 100배 이상 감소하였다. 이는 모델 식별 단계가 한 번만 수행되고, 이후 최적화가 수학적 프로그램으로 해결되기 때문에 샘플 복잡도가 크게 낮아진 결과이다.

또한, 논문은 모델‑프리 RL이 고주파 동역학을 무시할 경우 제어 이득이 크게 감소하고, 안정성 마진이 손실되는 현상을 실험적으로 보여준다. 반면, 모델‑베이스 접근은 이러한 미포함 동역학을 피드백 루프에서 보상함으로써 강인성을 확보한다. 따라서 산업 현장(공장 자동화, 물류 로봇, 트럭 등)에서 제한된 데이터와 엄격한 제약 조건을 동시에 만족해야 하는 경우, 제안된 모듈형 모델‑베이스 RL이 실용적이다.