VLA 모델을 위한 차세대 로봇 조작 벤치마크 LIBERO‑X

초록

LIBERO‑X는 시각‑언어‑행동(VLA) 모델의 강인성을 체계적으로 평가하기 위해, 다중 난이도 계층형 테스트와 인간 텔레오퍼레이션으로 수집한 고다양성 학습 데이터를 결합한 새로운 벤치마크이다. 공간 일반화, 객체 인식, 명령 이해라는 세 핵심 능력을 단계별로 점검함으로써 실제 로봇 환경에서의 복합 분포 이동에 대한 모델의 한계를 명확히 드러낸다.

상세 분석

본 논문은 기존 로봇 조작 벤치마크가 갖는 두 가지 근본적 한계를 정확히 짚어낸다. 첫째, 기존 평가 프로토콜은 개별적인 변동(예: 위치 jitter)만을 독립적으로 적용해 다중 요인이 동시에 변하는 현실적인 분포 이동을 포착하지 못한다. 둘째, 학습 데이터가 장면‑과제‑시연 1:1 구조에 머물러 있어, 모델이 템플릿화된 행동을 암기하는 위험이 크다. 이를 해결하기 위해 LIBERO‑X는 5단계의 계층형 평가 프레임워크를 제안한다. Level 1·2는 점진적인 공간 jitter와 랜덤화로 공간 일반화를 시험하고, Level 3은 목표‑배치 교환을 통해 고정된 공간 연관성을 깨뜨린다. Level 4는 색·질감·크기 등 시각적 속성을 변형하고, 새로운 방해 객체를 삽입해 객체 인식 및 속성 일반화를 강제한다. 최종 Level 5는 명령어의 의미적 동등 재구성을 도입해 언어‑시각‑행동 정렬 능력을 평가한다. 각 레벨은 이전 레벨에 변수를 추가하는 방식으로 난이도가 누적되며, 다중 라벨(상호작용 유형, 서브태스크 수, 공간 관계, 객체 속성)로 세밀한 오류 진단이 가능하도록 설계되었다.

학습 측면에서는 인간 텔레오퍼레이션을 통해 2,520개의 시연을 600개의 과제와 100개의 장면에 걸쳐 수집하였다. 동일 장면에 다중 과제가 매핑되고, 객체 속성(색, 질감, 크기)과 공간 관계가 다양하게 변형돼, 기존 LIBERO의 단일‑과제‑단일‑시연 구조와는 근본적으로 차별된다. 이러한 데이터 다양성은 모델이 실제 로봇 환경에서 마주할 복합적인 상황에 대한 전이 학습을 가능하게 한다.

실험에서는 대표적인 VLA 모델(Discrete‑token 기반 OpenVLA, Continuous‑regression 기반 RoboFlamingo 등)을 LIBERO‑X에 fine‑tune한 뒤, 각 레벨별 성공률을 측정했다. 결과는 레벨이 상승할수록 급격한 성능 저하를 보였으며, 특히 Level 4·5에서 시각적 속성 변형과 명령어 재구성에 대한 취약성이 두드러졌다. 이는 현재 모델들이 공간 좌표와 객체 색상 같은 저수준 피처에 과도하게 의존하고, 고차원 언어‑시각 연계 추론이 부족함을 시사한다.

종합적으로, LIBERO‑X는 평가 프로토콜과 학습 데이터 두 축에서 기존 벤치마크의 한계를 보완함으로써, VLA 모델의 실제 로봇 적용 가능성을 보다 정밀하게 진단할 수 있는 강력한 도구를 제공한다. 향후 연구는 여기서 제시된 다중 난이도와 다중 라벨 메트릭을 활용해 모델 설계(예: 멀티모달 어텐션, 메타‑러닝)와 데이터 증강 전략을 체계적으로 최적화하는 방향으로 나아갈 수 있다.