최소 주의 원리를 활용한 메타 강화학습: 효율·안정성·에너지 절감

초록

본 논문은 제어의 최소 변화(Least‑Action) 원리를 정규화 항으로 도입해 강화학습 보상에 포함하고, 이를 모델 기반 메타‑학습 프레임워크에 적용한다. 앙상블 동적 모델과 1‑step 그라디언트 메타‑정책 업데이트를 교차 학습함으로써, 기존 모델‑프리 및 모델‑베이스 RL 대비 샘플 효율, 학습 안정성, 정책의 매끄러움·에너지 효율을 크게 향상시킨다. MuJoCo의 다양한 로봇 환경에서 실험한 결과, 보상 증가·분산 감소·OOD 적응 능력 향상이 입증되었다.

상세 분석

본 연구는 ‘최소 주의(minimum attention)’라는 개념을 수학적으로 정의하고, 이를 강화학습의 보상 함수에 정규화 항으로 삽입한다. 최소 주의는 제어 입력 u에 대한 상태 x와 시간 t에 대한 편미분 ‖∂u/∂x‖² + ‖∂u/∂t‖² 를 최소화하는 것이며, 이는 제어 신호의 급격한 변화를 억제해 물리적 시스템에서 에너지 소모와 진동을 감소시키는 효과가 있다. 이러한 정규화는 기존 RL에서 흔히 발생하는 정책의 과도한 변동성(variance)과 모델 바이어스에 대한 내성을 제공한다는 점에서 중요한 의미를 가진다.

논문은 먼저 연속시간 비선형 시스템 dx = f(x,u)dt + σ(x,t)dWₜ 를 가정하고, 모델 f̂_θᴹ 을 앙상블 방식으로 학습한다. 손실 함수는 예측 오차의 L2 norm을 평균한 형태이며, 데이터 풀 R 은 실제 환경에서 수집된 전이 쌍으로 구성된다. 이후 메타‑학습 단계에서는 제어를 u(x,t)=K(t)x+v(t)+ε 로 선형화하고, ε는 OU 프로세스로 모델링한다. 메타‑파라미터 θ=