다중모달 딥 임베딩으로 새로운 물체 조작하기

초록

본 논문은 포인트클라우드, 자연어 명령, 그리고 조작 궤적을 하나의 공유 임베딩 공간에 매핑하는 심층 신경망을 제안한다. 손실 기반 가변 마진을 이용해 관련 쌍은 가깝게, 비관련 쌍은 멀리 배치함으로써 사전 학습과 미세 조정을 수행한다. 대규모 로보바리스타 데이터셋에서 정확도와 추론 속도가 크게 향상되었으며, PR2 로봇 실험에서도 성공적으로 적용되었다.

상세 분석

이 연구는 로봇이 실세계에서 다양한 센서 입력을 통합해 행동을 결정해야 하는 문제를 다룬다. 기존 방법은 각 모달리티별 특징을 수작업으로 설계하거나, 얕은 선형 변환에 의존했지만, 포인트클라우드의 고밀도 3D 형태, 자연어의 희소성, 그리고 궤적의 연속적 특성은 서로 크게 다르다. 논문은 이러한 이질성을 극복하기 위해 세 개의 독립적인 서브네트워크(포인트클라우드, 언어, 궤적)를 각각 깊은 비선형 변환을 거쳐 동일 차원의 임베딩 공간 ( \mathbb{R}^M ) 으로 투사한다. 핵심은 가변 마진 손실이다. 각 (포인트클라우드, 언어) 쌍에 대해 가장 관련성이 높은 궤적 집합 (T_{i,S}) 과 가장 무관한 궤적 집합 (T_{i,D}) 를 DTW‑MT 거리 기반 임계값 (t_S, t_D) 로 구분하고,
\