RADAR: 현실 세계 동적 환경과 공간 물리 지능을 통한 VLA 모델 평가 벤치마크

초록

VLA 모델 평가는 시뮬레이션이나 제한된 실제 환경에 머물러 현실 격차를 초래합니다. 본 연구는 기존 평가 방식의 세 가지 근본적 한계(현실적 동적 환경 부재, 공간 물리 지능 평가 부재, 확장 가능한 자동 평가 시스템 부재)를 지적하고, 이를 해결하는 RADAR 벤치마크를 제안합니다. RADAR는 체계적인 물리적 동적 환경, 공간 추론 과제, 3D 기반 완전 자동 평가 파이프라인을 통합하여 VLA 모델의 견고성과 일반화 능력을 평가합니다. 실험 결과, 최신 VLA 모델들이 현실 세계 동적 변화에 극도로 취약하며 공간 추론 능력이 제한적임을 보여줍니다.

상세 분석

본 논문은 Vision-Language-Action 모델 평가의 현실 격차를 해결하기 위한 RADAR 벤치마크를 제안하며, 세 가지 핵심 기술적 기여를 합니다.

첫째, 체계적인 현실 세계 동적 환경 모델링을 도입합니다. 기존 벤치마크는 정적이고 단순화된 환경을 사용하여 모델이 특정 실험실 설정에 과적합되도록 합니다. RADAR는 객체 구성, 로봇 초기 상태, 조명 변화, 센서 노이즈 등 고엔트로피 물리적 요소를 네 가지 축(조작 객체, 로봇 초기 상태, 작업 지시, 환경 조건)에서 통제된 방식으로 변화시켜 평가합니다. 이는 모델의 메모리제이션 능력이 아닌, 다양한 물리적 조건에서의 견고한 일반화 능력을 측정하는 데 필수적입니다.

둘째, 공간-물리 지능에 대한 전용 평가 과제를 설계했습니다. 기존 평가가 단순한 피크-앤-플레이와 같은 직관적 인지 작업에 머물렀다면, RADAR는 기하학적 추론, 3차원 공간 관계 이해, 물리적 제약 조건 해석을 요구하는 작업을 포함합니다. 예를 들어, “그리퍼를 기준으로 원통 뒤에 블록을 놓아라"와 같은 지시는 2D 패턴 매칭으로는 해결할 수 없으며, 진정한 3D 장면 이해를 필요로 합니다. 이를 통해 모델의 시각-언어 이해가 표면적 의미 수준을 넘어 물리 세계의 공간적 구조를 이해하는지 평가할 수 있습니다.

셋째, 확장 가능한 완전 자동 3D 평가 파이프라인을 구축했습니다. 인간 평가는 비용이 높고 주관적 편향이 있으며 확장성이 떨어집니다. 기존 자동 평가는 2D 객체 탐지나 휴리스틱 성공 기준에 의존하여 3D 공간 결과를 정확히 검증하지 못했습니다. RADAR는 클라이언트-서버-워커 아키텍처를 기반으로 한 중앙 집중식 자동화 플랫폼을 제시합니다. 워커 노드는 협동 로봇 암, 손목 장착 카메라, 외부 스테레오 비전 시스템, 가동 스테이지로 구성된 자체 포함 로봇 셀로, 인간 개입 없이 작업 실행, 상태 초기화, 다중 관점 센서 데이터 수집이 가능합니다. 평가는 3D Intersection over Union과 같은 고정밀 3D 메트릭을 기반으로 하여, 객체의 3D 위치와 자세를 정량적으로 비교함으로써 평가의 객관성과 재현성을 보장합니다.

실험 결과는 현재 최첨단 VLA 모델들의 근본적인 취약성을 드러냅니다. 센서 노이즈와 같은 미미한 물리적 변화 하에서도 3D IoU 기대값이 0.261에서 0.068로 급락하는 등 성능이 심각하게 저하되었습니다. 이는 시뮬레이션이나 정적 환경에서의 높은 점수가 실제 세계에서의 강건한 embodied intelligence를 보장하지 않음을 의미합니다. RADAR는 VLA 모델의 진정한 일반화 능력을 평가하고, 향후 연구가 현실 세계의 복잡성과 불확실성을 해결하는 방향으로 나아가야 함을 보여주는 중요한 기준점이 됩니다.