작업에 중요한 특징을 조명한다 로봇 조작을 위한 객체 중심 표현의 일반화 향상

초록

본 논문은 로봇 조작 정책의 시각적 입력을 전역 혹은 밀집 특징 대신 슬롯 기반 객체 중심 표현(SOCR)으로 변환하여, 조명·텍스처·잡동사니 변화와 같은 시각적 분포 이동에서도 뛰어난 일반화 성능을 보임을 실증한다. 다양한 시뮬레이션·실세계 작업에 대한 대규모 벤치마크 결과, 사전 학습 여부와 관계없이 SOCR 기반 정책이 기존 방법을 일관적으로 앞선다.

상세 분석

이 연구는 로봇 조작에서 시각적 표현이 정책의 일반화에 미치는 영향을 체계적으로 조사한다. 기존 방식은 (1) 전역 특징—이미지를 하나의 벡터로 요약하는 CLS 토큰이나 풀링 결과—와 (2) 밀집 특징—마지막 인코더 레이어에서 추출한 패치‑와이즈 임베딩—두 가지로 구분된다. 전역 특징은 장면 전체 정보를 압축하지만 세부 객체 구분이 어려워 조명·배경 변화에 민감하고, 밀집 특징은 공간 정보를 보존하지만 객체별 의미를 명시적으로 분리하지 못한다. 결과적으로 두 방식 모두 작업에 불필요한 잡음(예: 배경 텍스처, 조명 변동, 무관한 물체)을 정책에 전달해 성능 저하를 초래한다.

논문은 이러한 한계를 극복하기 위해 슬롯 기반 객체 중심 표현(SOCR, 혹은 SOCRs)이라는 중간 구조를 도입한다. 구체적으로, 사전 학습된 비전 백본(DINOv2 등)으로부터 얻은 밀집 피처 토큰을 Slot Attention 모듈에 입력한다. Slot Attention은 K개의 슬롯을 초기화하고, 반복적 교차‑어텐션을 통해 각 슬롯이 입력 피처의 서로 다른 영역에 집중하도록 경쟁한다. 수식 A = softmax(QKᵀ/√D)와 S^{(i+1)} = AV에 의해 슬롯은 점진적으로 객체‑레벨 표현으로 정제된다. 이 과정은 (a) 객체별 독립적인 임베딩을 제공해 정책이 관련 객체에만 주의를 기울이게 하고, (b) 불필요한 배경·조명 변동을 자연스럽게 억제한다는 장점을 갖는다.

또한 저자는 두 가지 사전 학습 전략을 비교한다. 첫 번째는 일반 이미지 데이터셋(COCO)만을 이용한 DINOSAUR* 모델이며, 두 번째는 로봇 조작 비디오(BridgeData V2, Fractal, DROID 등 188k 궤적)로 추가 학습한 DINOSAUR‑Rob*이다. 로봇 데이터 사전 학습은 도메인 특화된 물체 형태와 조명 변동을 더 잘 포착해, 이후 정책 학습 단계에서 성능 향상을 입증한다.

정책 아키텍처는 BAKU 기반의 트랜스포머 관측 트렁크와 MLP 액션 헤드로 구성된다. 시각 피처(전역, 밀집, 슬롯)는 모두 토큰 시퀀스로 취급되어 동일한 트랜스포머에 입력될 수 있다. 이는 비교 실험에서 인코더 가중치를 고정하고 시각 표현만 교체함으로써, 각 표현 방식의 순수한 효과를 정량화할 수 있게 한다.

실험은 MetaWorld와 LIBERO라는 두 시뮬레이션 환경, 그리고 실제 로봇(예: WidowX‑250)에서 수행된 다중 작업을 포함한다. 평가 항목은 (1) 기본 성공률, (2) 조명·텍스처·잡동사니 변동에 대한 일반화 점수, (3) 사전 학습 유무에 따른 성능 차이이다. 결과는 전역·밀집 특징 기반 정책이 분포 이동 시 급격히 성능이 떨어지는 반면, SOCR 기반 정책은 평균 1218% 높은 성공률을 유지하고, 특히 조명 변화와 배경 잡동사니에 대한 견고함이 두드러졌다. 로봇 데이터로 사전 학습한 DINOSAUR‑Rob*는 추가로 47%의 향상을 보이며, 사전 학습이 객체 중심 표현에도 유의미함을 확인한다.

이 논문의 주요 통찰은 다음과 같다. 첫째, 객체‑레벨 구조화된 시각 표현은 로봇이 “무엇이 중요한가”를 스스로 판단하도록 돕는다. 둘째, Slot Attention과 같은 경량 모듈을 기존 대형 비전 백본에 결합하면, 대규모 사전 학습 모델의 풍부한 피처를 유지하면서도 실시간 로봇 제어에 필요한 효율성을 확보한다. 셋째, 로봇 전용 비디오 데이터로의 추가 사전 학습은 일반 이미지만을 사용했을 때보다 더 나은 도메인 적합성을 제공한다. 마지막으로, 정책 학습 단계에서 시각 인코더를 고정함으로써, 시각 표현 자체가 로봇 일반화 능력의 핵심 병목임을 실증한다. 이러한 결과는 향후 로봇 비전 시스템 설계 시, 전역·밀집 피처를 넘어 객체 중심 구조를 기본 설계 요소로 채택해야 함을 강력히 시사한다.