통합 멀티모달 외부 접촉 추정 UNIC

초록

UNIC는 사전 지식이나 카메라 캘리브레이션 없이, RGB‑D 포인트클라우드, 관절 회전, 힘‑토크, 촉각 마커 변위를 동시에 활용해 외부 접촉을 추정하는 데이터‑드리븐 프레임워크이다. 인간이 3D 공간에 직접 표시한 접촉 점을 가우시안 커널로 변환한 ‘접촉 어포던스 맵’으로 통합 표현을 만들고, 토큰 기반 트랜스포머에 무작위 마스킹을 적용해 센서 결함에 강인한 멀티모달 융합을 구현한다. 실험에서 보이지 않는 물체·접촉 위치에 대해 평균 9.6 mm Chamfer 오차를 기록하고, 모달리티 손실·카메라 시점 변화에도 견고함을 보였다.

상세 분석

본 논문은 로봇 조작에서 필수적인 ‘외부 접촉(extrinsic contact)’을 정확히 추정하기 위한 새로운 접근법을 제시한다. 기존 연구들은 사전 정의된 접촉 유형, 고정된 그립, 정확한 물체 모델, 혹은 카메라 캘리브레이션 등 강한 전제조건에 의존해 실제 환경에서의 일반화에 한계를 보였다. UNIC은 이러한 제약을 완전히 제거하고, 사전‑프리(prior‑free) 로 설계되었다는 점이 가장 큰 혁신이다.

1. 통합 접촉 표현
   • 인간이 3D 포인트클라우드 상에 직접 표시한 접촉 점 집합 {p_i^c}을 가우시안 커널 y_k=exp(−d_k²/2σ²) 로 변환해 각 포인트에 어포던스 점수 a_k∈