일반화 로봇 조작 정책 평가를 위한 체계적 분류

초록

본 논문은 로봇 조작 정책의 일반화를 시각·언어·행동 세 축으로 구분한 STAR‑Gen(‹‑Gen)이라는 세분화된 분류 체계를 제시한다. 이를 실제 로봇 데이터셋인 Bridge V2와 양손 ALOHA 2 플랫폼에 적용해 14개의 일반화 축을 평가하고, 최신 오픈소스 비전‑언어‑액션 모델이 특히 의미적 일반화에서 한계를 보임을 실증한다.

상세 분석

STAR‑Gen은 로봇 조작 정책을 “시각(Visual)”, “의미(Semantic)”, “행동(Behavioral)”이라는 세 가지 입력·출력 모달리티의 교란에 따라 7개의 카테고리와 22개의 세부 축으로 나눈다. 시각 축은 이미지 증강, 장면·객체 색상·질감 변화, 카메라 시점 변동 등을 포함하고, 의미 축은 객체 속성, 언어 재표현, 다중 객체 관계, 인간 친화성, 인터넷 지식 등 언어 명령의 변형을 다룬다. 행동 축은 숨겨진 물리적 변수(질량·마찰·취약성), 객체·장면 포즈, 형태 변형, 로봇 몸체·대칭성, 동작 부사·동사 변환 등 실제 행동 정책이 달라지는 상황을 정의한다.

논문은 두 가지 실증 사례를 통해 STAR‑Gen의 실용성을 검증한다. 첫 번째는 Bridge V2 데이터셋을 기반으로 만든 “BridgeV2‑‹” 벤치마크로, 오픈소스 모델인 BC‑Z, RT‑Series, OpenVLA 등을 1600여 회의 로봇 시도에서 평가한다. 결과는 시각적 교란에 대해서는 비교적 견고하지만, 의미 축 특히 객체 색상·질량·크기와 같은 물리적 속성 변화를 요구하는 상황에서 성능이 급격히 저하됨을 보여준다. 두 번째 사례는 양손 ALOHA 2 플랫폼에서 수행한 장기·다양한 조작 작업(예: 양손 협동 조립, 복합적인 물체 변형)이다. 여기서는 행동 축의 복합 교란(예: 물체 질량·마찰·형태 동시 변화)과 시각·의미 복합 교란이 정책의 성공률을 크게 낮추는 것으로 나타났다.

핵심 통찰은 기존 논문들이 개별적인 일반화 측면만을 다루어 비교가 어려웠던 반면, STAR‑Gen은 교란 유형을 명확히 정의하고, 각 축별·조합별 성능을 정량화함으로써 “어디서, 어떤 종류의 일반화가 부족한가”를 진단할 수 있게 한다는 점이다. 또한, 시각·의미·행동 교란이 동시에 발생하는 복합 상황을 체계적으로 설계·측정할 수 있어, 향후 대규모 멀티모달 로봇 학습에 필수적인 평가 프레임워크가 될 가능성을 시사한다.