지속가능한 로봇 학습을 위한 CRL‑VLA 프레임워크

초록

CRL‑VLA는 목표‑조건화된 어드밴티지 크기를 정책 다이버전스와 연결한 이론적 경계를 제시하고, 고정된 크리틱과 학습 가능한 크리틱을 결합한 듀얼‑크리틱 구조로 안정성과 플라스틱성을 비대칭적으로 조절한다. LIBERO 벤치마크 실험에서 기존 지속학습 방법들을 능가하며, 이전 작업의 망각을 최소화하면서 새로운 작업에 빠르게 적응한다.

상세 분석

본 논문은 로봇 조작을 위한 Vision‑Language‑Action(VLA) 모델을 지속적인 강화학습(CRL) 환경에 적용할 때 발생하는 안정성‑플라스틱성 딜레마를 정량화한다. 핵심 아이디어는 “목표‑조건화 어드밴티지 크기(M_g)”를 정의하고, 이를 정책 KL 다이버전스(D_old, D_new)와 곱해진 형태로 성능 변화를 상한한다는 정리(Theorem 4.1)를 제시한 점이다. 즉, 기존 작업에서의 성능 저하(J_old) ≤ 2γ/(1‑γ)²·M_old·D_old, 새로운 작업에서의 향상(J_new) ≤ 1/(1‑γ)·M_new·D_new 로 표현된다. 여기서 M_old은 이전 정책과 현재 정책 사이의 어드밴티지 차이를, M_new은 새로운 목표에 대한 최대 어드밴티지를 의미한다.

이론적 분석을 바탕으로 저자는 두 가지 독립적인 제어 메커니즘을 설계한다. 첫 번째는 “V‑only 경로”로, 고정된 크리틱을 이용해 가치 함수 근사 오차 ε_V를 최소화함으로써 M_old을 억제한다. 두 번째는 MC 반환의 자연적 범위(