비전‑언어 모델 기반 경험 재생 최적화

초록

본 논문은 사전 학습된 비전‑언어 모델(VLM)을 이용해 강화학습(RL) replay buffer의 경험을 의미론적으로 평가·우선순위화한다. VLM이 생성한 스코어를 기반으로 중요한 서브‑트래젝터리를 강조하고, uniform 샘플링과 혼합해 학습 효율을 19‑45% 향상시키며 성공률을 11‑52% 끌어올린다.

상세 분석

VLM‑Guided Experience Replay(VLM‑RB)은 기존 Prioritized Experience Replay(PER)이 TD‑error에만 의존해 의미론적 정보를 놓치는 문제를 해결한다. 핵심 아이디어는 ‘동결된’ 사전 학습 VLM을 비동기적으로 호출해 에이전트가 수집한 시각적 클립(연속 프레임 L)을 텍스트 프롬프트와 함께 입력하고, 0/1 이진 스코어를 반환받는 것이다. 이 스코어는 “의미 있는 행동”을 나타내는지 여부를 판단한다.

1. 스코어링: VLM은 단일 프레임이 아닌 시간적 연속성을 가진 클립을 평가한다. 이는 정적 이미지가 동일해도 행동 성공·실패를 구분할 수 있게 해준다(예: 성공적인 그립 vs. 실패 그립).
2. 우선순위화: 이진 스코어를 전체 버퍼에 전파해 의미 있는 전이만을 포함하는 부분집합에 균등 확률을 부여한다.
3. 샘플링: 완전 우선순위 샘플링은 데이터 손실 위험이 크므로, λₜ라는 가중치를 두어 uniform 샘플링과 VLM‑우선순위 샘플링을 선형 워밍업(초기 λ₀=0 → λ_max≈0.5)으로 혼합한다. 이는 초기 탐색을 보장하고, 학습이 진행될수록 의미 있는 경험에 더 집중하도록 설계되었다.

추가적으로 TD‑error와 VLM 스코어를 곱해 복합 우선순위(q_P ∝ p_VLM·|δ|)를 만들 수 있다. 이 경우 VLM이 “무관한” 전이를 차단하고, 남은 전이 중 예측 오차가 큰 것을 강조한다.

효율성: VLM 평가를 비동기적으로 수행해 정책 업데이트와 분리함으로써 학습 파이프라인이 VLM 추론 지연에 의해 차단되지 않는다. 1B 파라미터 모델을 사용해도 충분히 높은 정확도를 보이며, 모델 크기를 늘려도 수익이 급감한다는 실험 결과가 있다.

실험: 두 가지 도메인(미니그리드 DoorKey와 OGBench 로봇 조작)에서 VLM‑RB를 적용했으며, 전통적인 UER, PER, 그리고 기타 우선순위 기법 대비 평균 성공률이 11‑52% 상승하고 샘플 효율이 19‑45% 개선되었다. 특히 긴 시간 지연 보상이 있는 작업에서 VLM 스코어가 TD‑error보다 앞서 가치 함수를 예측하는 경향을 보이며, 탐색 초기에 의미 있는 행동을 빠르게 포착한다.

한계 및 향후 연구: 현재는 이진 스코어와 간단한 프롬프트에 의존하므로, 복잡한 목표나 다중 목표 상황에서는 스코어링 함수의 정교화가 필요하다. 또한, VLM‑RB가 텍스트 기반 목표 지정이나 멀티모달 정책과 결합될 경우, 정책 자체가 시각 정보를 직접 활용하도록 확장할 여지가 있다.

전반적으로 VLM‑RB는 사전 학습된 멀티모달 지식을 활용해 RL 경험 재생을 의미론적으로 정교화함으로써, 샘플 효율과 최종 성능을 동시에 끌어올리는 실용적인 프레임워크라 할 수 있다.