비동기 강화학습으로 가속화된 비전‑언어‑행동 모델 훈련

초록

본 논문은 VLA(Vision‑Language‑Action) 모델의 강화학습 파이프라인을 완전 비동기화하여 환경 상호작용, 롤아웃 생성, 정책 업데이트 단계에서 발생하는 자원 유휴 시간을 크게 감소시킨다. 3단계 비동기 아키텍처와 동적 배치 스케줄러, 마이크로‑배치 학습 기법을 도입해 LIBERO 벤치마크에서 최대 126 %의 처리량 향상을 달성했으며, 8‑256 GPU 규모에서도 우수한 확장성을 보였다.

상세 분석

RL‑VLA³는 기존 RLinf이 채택한 동기식 실행 모델이 갖는 “시뮬레이터‑모델‑업데이트” 순차적 의존성을 근본적으로 재구성한다. 첫 번째 레벨에서는 롤아웃 워커와 액터 워커를 물리적으로 다른 GPU에 배치하고, 고속 파이프라인(예: NCCL 기반 큐)으로 trajectory 데이터를 비동기 전송한다. 롤아웃 워커는 현재 정책 파라미터를 사용해 트래젝터리를 생성하고, 완료 즉시 큐에 삽입해 다음 스텝을 바로 시작한다. 두 번째 레벨은 환경‑인퍼런스 간의 미세한 동기화를 해소한다. 기존 배치‑단위 인퍼런스는 가장 느린 시뮬레이터에 의해 전체 진행이 제한되었지만, 본 논문은 “배치 크기 ≥ Bmax 혹은 대기 시간 ≥ Tmax” 조건을 만족하면 즉시 인퍼런스를 트리거하는 동적 배치 스케줄러를 도입한다. 이를 통해 빠른 환경 인스턴스는 대기 없이 바로 정책을 요청하고, 느린 인스턴스는 최대 대기시간 제한 안에서 처리된다. 세 번째 레벨은 학습 단계에서 마이크로‑배치를 활용한다. 전체 배치가 모일 때까지 기다리는 대신, 일정량(마이크로‑배치)만 모이면 바로 forward‑backward 연산을 수행하고, 모든 마이크로‑배치가 끝난 뒤에 그래디언트를 집계해 파라미터를 업데이트한다. 이 설계는 학습 단계의 GPU 유휴 시간을 최소화하고, 롤아웃 단계와 학습 단계가 거의 겹쳐 실행되도록 만든다.

핵심 인사이트는 “비동기 파이프라인이 자원 활용률을 90 % 이상으로 끌어올릴 수 있다”는 점이다. 실험에서는 LIBERO‑Pick‑Place, LIBERO‑Stack 등 6가지 시뮬레이션 태스크와 실제 로봇에 대한 전이 테스트를 수행했으며, 동기식 베이스라인 대비 평균 59.25 %의 처리량 증가, 최적화된 배치‑대기 전략에서는 126.67 %까지 상승했다. 또한, GPU 비율(롤아웃:액터)을 3:1, 2:1, 1:1 등으로 조정한 스케일‑아웃 실험에서 8‑256 GPU 구간 전반에 걸쳐 1.8×~2.3×의 스루풋 향상을 기록했다.

안정성 측면에서는 비동기 업데이트가 정책의 스테일링(staleness) 문제를 야기할 수 있다는 우려가 있었지만, 저자들은 “정책 버전 동기화 시점”을 롤아웃 워커가 현재 파라미터를 교체하는 시점으로 제한하고, 파라미터 전파 지연을 1~2ms 이하로 유지함으로써 성능 저하를 방지했다. Ablation 연구에서는 (1) 완전 비동기 vs. 부분 동기, (2) 동적 배치 vs. 고정 배치, (3) 마이크로‑배치 vs. 전체 배치 전략 각각이 처리량에 미치는 영향을 정량화했으며, 모든 요소가 결합될 때 최적의 효율을 달성함을 확인했다.

한계점으로는 (a) 물리 시뮬레이터가 GPU 메모리를 많이 차지하는 경우, 워커 간 메모리 경쟁이 여전히 발생할 수 있다, (b) 정책 스테일링이 극단적인 경우(예: 매우 큰 배치 크기) 학습 안정성이 저하될 가능성이 있다, (c) 현재 구현은 주로 Denoising Diffusion 기반 VLA에 초점을 맞추어 토큰‑레벨 자동 회귀 모델에 대한 적용 가능성은 별도 연구가 필요하다. 향후 연구에서는 메모리‑우선 스케줄링, 스테일링 보정 메커니즘, 그리고 멀티‑모달 센서(예: 촉각)와의 통합을 탐색할 여지가 있다.