다이나믹 촉각 인식을 위한 AnyTouch 2와 대규모 계층형 데이터셋 ToucHD

초록

AnyTouch 2는 광학 촉각 센서의 시공간 변형을 학습하도록 설계된 범용 표현 학습 프레임워크이며, ToucHD라는 240만 개 이상의 접촉 샘플을 포함한 계층형 데이터셋을 기반으로 한다. 데이터는 ‘Press‑Only’부터 ‘Force‑Paired’까지 5단계 피라미드 구조로 정리돼 동적 인식 능력을 단계별로 지원한다. 모델은 마스크 비디오 재구성, 프레임 차이 복원, 액션 매칭, 힘 예측 등 다중 모듈을 결합해 물체 수준 의미, 세밀한 변형, 물리적 힘 관계를 동시에 학습한다. 다양한 센서와 실세계 조작 과제에서 일관된 성능 향상을 보이며, 동적 촉각 인식 연구의 새로운 기준을 제시한다.

상세 분석

AnyTouch 2 논문은 현재 광학 촉각 연구가 직면한 두 가지 근본적인 한계—데이터의 정적·저차원 편중과 모델의 물리적 동역학 미반영—를 동시에 해결하려는 시도로 평가된다. 첫 번째로 저자들은 ‘촉각 동적 피라미드’를 제안해 데이터의 희소성 및 인식 난이도를 5개의 티어(T5~T1)로 체계화한다. 기존 데이터셋이 주로 T5(Press‑Only)와 T4(Random Action)에 머물러 물체의 재질·경도와 같은 정적 속성만을 학습하도록 제한된 반면, ToucHD는 T3(Specific Action), T2(Manipulation), T1(Force)까지 포괄한다. 특히 시뮬레이션 기반 원자 행동(슬라이드·회전) 1.1 M 프레임, 실제 로봇 그리퍼를 이용한 0.58 M 조작 프레임, 71종 인덴터와 3D 힘 센서를 결합한 0.72 M 접촉‑힘 쌍을 제공함으로써, 시간적 연속성, 액션 구문론, 물리적 힘‑변형 관계를 동시에 학습할 수 있는 풍부한 슈퍼비전을 제공한다.

두 번째로 AnyTouch 2 모델 설계는 이러한 데이터 구조에 맞추어 다중 레벨 모듈을 계층적으로 배치한다. 기본 인코더는 마스크 비디오 재구성을 통해 전반적인 시각적 특징을 추출하고, 프레임‑차이 디코더는 미세 변형을 강조한다. 액션 헤드는 동일 액션 여부를 판별하는 대조 학습을 수행해 ‘액션 의미론’을 학습하고, 힘 디코더는 접촉‑힘 시퀀스의 ΔF를 예측함으로써 물리적 인과 관계를 내재화한다. 또한 센서 간 정합을 위한 멀티모달 정렬 및 크로스‑센서 매칭 모듈을 도입해 센서 이질성을 최소화한다. 이러한 설계는 기존 영상‑기반 SSL이 촉각 데이터의 고유한 물리적 특성을 놓치는 문제를 보완한다는 점에서 의미가 크다.

실험 결과는 세 가지 차원에서 검증된다. (1) 정적 물체 속성(재질·텍스처) 벤치마크에서 AnyTouch 2는 기존 비전‑기반 SSL 대비 3~5% 평균 정확도 향상을 보인다. (2) 동적 물리 예측(힘‑변형, 액션 인식)에서는 T1·T2 티어 데이터를 활용한 사전학습이 힘 예측 RMSE를 18% 감소시키고, 액션 매칭 정확도를 12% 끌어올린다. (3) 실제 조작 과제(슬라이드, 회전, 힘‑민감 잡기)에서는 성공률과 평균 작업 시간 모두 기존 모델 대비 유의미하게 개선된다. 특히 센서 종류가 바뀌어도 성능 저하가 미미한 점은 AnyTouch 2가 센서‑불변 표현을 성공적으로 학습했음을 시사한다.

이 논문의 주요 기여는 (i) 동적 촉각 인식을 위한 체계적 데이터 계층화, (ii) 물리‑동적 정보를 동시에 학습하도록 설계된 다중 모듈 프레임워크, (iii) 다양한 센서와 실제 작업에 일반화 가능한 검증 결과다. 향후 연구는 ToucHD를 기반으로 한 시뮬레이션‑실세계 도메인 적응, 더 복잡한 다중 손가락 협동 조작, 그리고 언어·시각과의 멀티모달 통합으로 확장될 여지가 크다.