UniVTAC 시각촉각 조작 데이터 생성 학습 벤치마크를 위한 통합 시뮬레이션 플랫폼

초록

UniVTAC는 고충실도 물리 시뮬레이터에 기반해 GelSight, VITAI GF225, Xense WS 등 세 가지 대표적인 시각‑촉각 센서를 가상화하고, 대규모 접촉 데이터와 정밀한 물리 라벨을 자동으로 생성한다. 이를 활용해 다중 과제 손실(형상 복원·접촉 변형·물체 자세 추정)으로 사전학습된 UniVTAC Encoder를 만들고, 8개의 대표적인 접촉‑중심 조작 과제를 포함한 UniVTAC Benchmark에서 정책에 적용한다. 실험 결과 시뮬레이션에서 평균 성공률이 17.1% 상승하고, 실제 로봇 실험에서도 25% 이상의 성공률 향상이 확인되었다.

상세 분석

UniVTAC 논문은 시각‑촉각 조작 연구에서 가장 큰 두 가지 병목, 즉 대규모 촉각 데이터 확보의 비용·시간 문제와 통합 벤치마크 부재를 동시에 해결하려는 시도로 평가된다. 첫 번째 기여는 TacEx와 NVIDIA Isaac Sim을 기반으로 한 시뮬레이션 파이프라인이다. 기존 연구들은 주로 IPC(Incremental Potential Contact) 기반의 강체·연성 물체 시뮬레이션에 머물렀지만, UniVTAC은 GelSight Mini, VITAI GF225, Xense WS와 같은 실제 상용 센서의 광학·기계 파라미터를 정밀히 모델링하고, 마커 변형, 압력 맵, 전단력 등 다중 모달 데이터를 동시에 출력한다. 특히, 그리퍼 관절 속도를 접촉 깊이에 따라 동적으로 조절하는 폐루프 제어법(식 1)을 도입해 비물리적 침투를 방지하고, 센서 손상을 최소화하면서도 풍부한 접촉 변형 데이터를 수집한다는 점이 혁신적이다.

두 번째 기여는 “세 가지 인지 경로”(Shape, Contact, Pose)를 명시적으로 구분하고, 각각에 맞는 감독 신호를 설계한 점이다. Shape 경로는 물체의 전반적 형상을 복원하도록 RGB‑Depth 재구성 손실을 사용하고, Contact 경로는 마커 변위와 압력 분포를 예측하도록 변형 예측 손실을 적용한다. Pose 경로는 시뮬레이션에서 제공되는 정확한 물체 자세 라벨을 이용해 회귀 손실을 부여한다. 이러한 다중 과제 학습은 단일 손실에 의존하는 기존 방법들에 비해 촉각 표현이 물리적 의미를 내포하도록 유도한다.

Encoder 구조는 Vision Transformer 기반의 이미지 인코더와 PointNet‑style의 마커 좌표 처리 모듈을 결합한 하이브리드 형태이며, 사전학습 후 정책 네트워크에 그대로 삽입해 추가 연산 비용 없이 활용한다. 실험에서는 사전학습된 Encoder를 사용한 정책이 베이스라인(이미지‑기반 CNN 또는 단일 손실 학습) 대비 평균 17.1% 높은 성공률을 기록했으며, 실제 로봇에 적용했을 때도 25% 이상의 성공률 향상이 확인되었다. 이는 시뮬레이션‑실제 간 격차를 크게 줄인 증거로, 시뮬레이션 데이터의 물리적 정확성과 다중 감독이 실제 촉각 인식에 미치는 영향을 실증한다.

마지막으로, 8개의 과제(삽입, 정렬, 회전, 미세 조정 등)로 구성된 UniVTAC Benchmark은 동일한 시뮬레이션 환경·데이터 파이프라인을 공유함으로써 연구자 간 공정한 비교를 가능하게 한다. 각 과제는 성공 기준을 물체 자세 오차와 접촉 유지 시간 등 정량적 지표로 정의하고, 자동화된 평가 스크립트를 제공한다. 이는 향후 시각‑촉각 조작 연구에서 재현성·표준화를 촉진할 것으로 기대된다.

전반적으로 UniVTAC는 시뮬레이션 기반 촉각 데이터 생성, 다중 과제 사전학습, 그리고 표준화된 벤치마크라는 세 축을 통합함으로써, 촉각 중심 로봇 조작 연구의 인프라를 크게 확장한다는 점에서 학술적·산업적 가치를 모두 지닌 논문이라 할 수 있다.