오픈GVL 로봇 데이터 자동 큐레이션을 위한 시각적 시간 진행 베치마크

초록

OpenGVL은 시각‑언어 모델(VLM)을 이용해 로봇 및 인간 조작 작업의 진행 정도를 예측하는 벤치마크이다. 저자들은 공개된 오픈소스 VLM들을 평가해 폐쇄형 모델에 비해 약 60‑70% 수준의 성능 차이를 보였으며, VOC(Value‑Order Correlation) 지표를 활용해 대규모 로봇 데이터셋의 품질을 자동으로 판단·필터링하는 방법을 제시한다. benchmark와 코드가 공개되어 커뮤니티가 손쉽게 새로운 모델·데이터를 추가·비교할 수 있다.

상세 분석

본 논문은 로봇 학습에 필수적인 고품질 데이터 확보가 데이터 부족으로 제한되는 현 상황을 인식하고, 시각‑언어‑행동(VLA) 모델이 내재한 세계 지식을 활용해 “작업 진행도”(temporal progress)를 추정하는 새로운 평가 프레임워크인 OpenGVL을 제안한다. 핵심 아이디어는 기존 GVL(Generative Value Learning)에서 사용된 Value‑Order Correlation(VOC) 지표를 그대로 차용하되, 공개된 오픈소스 VLM들을 대상으로 체계적인 비교를 수행한다는 점이다.

1. 벤치마크 설계

   • 4개의 공개 데이터셋(NYU Door, Berkeley MVP, CMU Stretch, NYU Franka)에서 각각 50개의 에피소드를 샘플링하고, 두 가지 프롬프트 조건(Zero‑shot, Two‑shot)을 적용한다.
   • 각 에피소드당 15개의 프레임을 무작위로 추출·셔플링하여 모델이 순서 정보를 직접 이용하지 못하도록 설계하였다. 이는 GVL 논문에서 제시된 “shuffling improves prediction quality”와 일치한다.
   • 숨겨진 두 개의 장기‑계획 작업(인간과 로봇 7‑DOF 팔을 이용한 전자 부품 조립)도 별도 테스트셋으로 제공해 향후 모델 성능을 지속적으로 평가할 수 있게 했다.

2. 모델 선정 및 비교

   • 오픈소스 VLM로는 Gemma‑3(4B/12B/27B), Qwen2.5‑VL(3B/7B/32B), GLM‑4.1V‑9B‑Thinking, MiMo‑VL‑7B‑RL‑2508, Cosmos‑Reason1‑7B, Kimi‑VL‑A3B 등을 포함했다.
   • 폐쇄형 모델로는 GPT‑4o, Gemini‑2.5‑Flash‑lite, Gemini‑2.5‑Pro를 사용해 상한선(upper bound) 성능을 제시하였다.
   • 실험 결과는 모델 규모가 클수록 VOC 점수가 크게 향상되는 경향을 보였으며, 특히 Qwen‑32B와 Gemma‑27B가 가장 높은 점수를 기록했다. 그러나 동일 규모의 오픈소스 모델이라도 폐쇄형 대비 30‑40% 정도 낮은 성능을 보였다.

3. VOC 지표와 데이터 큐레이션

   • VOC는 예측된 진행값(v₁…v_T)을 실제 순서(1…T)와의 순위 상관관계로 측정한다. 1에 가까울수록 정확한 진행 예측을 의미한다.
   • 저자들은 VOC를 이용해 데이터셋 내 “작업 정의 불명확”, “라벨링 모호”, “OOD/실패 사례” 등을 자동 탐지하고, 문제 에피소드를 필터링하는 파이프라인을 구현했다. 예시로 Chess‑move, Excavator 등에서 낮은 VOC가 작업 정의의 모호함을 드러냈다.
   • 이러한 자동 큐레이션은 13,000개가 넘는 공개 로봇 데이터셋을 사전 학습 전 정제하는 데 실용적이며, 기존 연구에서 지적된 데이터 품질 저하 문제를 크게 완화할 수 있다.

4. 한계와 향후 과제

   • 현재 오픈소스 VLM은 복잡한 공간‑시간 추론, 특히 미세한 서브밀리미터 정밀도가 요구되는 작업에서 여전히 부족하다.
   • 두‑샷 프롬프트가 성능을 일정 부분 회복하지만, 완전한 제로‑샷 성능이 낮아 실제 현장 적용 시 추가 라벨링 비용이 발생한다.
   • VOC 자체가 “필수조건”은 되지만 “충분조건”은 아니므로, 다른 품질 지표(예: 성공률 기반 보상 함수)와 결합하는 연구가 필요하다.

전반적으로 OpenGVL은 VLM 기반 시간 진행 예측을 정량화하고, 대규모 로봇 데이터의 자동 정제·선별에 실용적인 도구를 제공한다는 점에서 로봇 학습 커뮤니티에 큰 기여를 할 것으로 기대된다.