다중모달 촉각 언어 시각 정렬을 위한 협업 표현 학습

초록

TLV‑CoRe는 센서 간 차이를 보정하는 Sensor‑Aware Modulator와 촉각‑불관련 정보를 분리하는 디커플링 학습을 결합하고, Unified Bridging Adapter를 통해 촉각·언어·시각을 하나의 공유 임베딩 공간에 정렬한다. 또한 RSS 평가 프레임워크(Robustness, Synergy, Stability)를 제시해 센서 독립성, 다중모달 시너지, 배치 크기 변화에 대한 안정성을 종합적으로 검증한다. 실험 결과, 기존 CLIP 기반 방법들보다 센서‑아그노스틱 표현과 삼중 모달 정렬에서 현저히 우수함을 보인다.

상세 분석

TLV‑CoRe는 현재 촉각 센서가 표준화되지 않아 발생하는 도메인 편향을 해결하기 위해 두 가지 핵심 메커니즘을 도입한다. 첫 번째는 Sensor‑Aware Modulator(SAM)이다. SAM은 tactile feature h_T에 대해 센서 인덱스 s에 대한 라우팅 가중치 r_s(h_T)를 선형 변환 W_r 후 softmax으로 계산하고, 이를 이용해 h_T를 가중합 형태로 보정한다(식 1). 이 과정은 각 센서별 특성을 학습 가능한 파라미터 공간에 매핑함으로써, 서로 다른 센서에서 수집된 이미지가 동일한 물체를 촉각적으로 표현할 때도 일관된 임베딩을 생성하도록 돕는다.

두 번째는 tactile‑irrelevant decoupled learning이다. 촉각 이미지가 서로 다른 센서라도 스타일이 유사할 경우 SAM만으로는 센서 정체성을 과도하게 클러스터링할 위험이 있다. 이를 방지하기 위해 논문은 센서 분류기와의 적대적 학습을 도입한다. 센서 중심 c_s 를 학습하고, feature h_T와의 코사인 유사도로 p(s|h_T)를 정의한다(식 2). 이후 negative log‑likelihood L_DL을 최소화하면서 gradient reversal layer를 통해 tactile encoder E_T가 센서 분류기를 혼란스럽게 만든다(식 3). 결과적으로 h_T는 센서‑특이 정보를 최소화하고 물체 고유의 물리적 속성에 집중한다.

Cross‑modal 정렬을 위해 TLV‑CoRe는 Unified Bridging Adapter(UBA)를 각 모달리티(촉각, 시각, 언어) encoder 뒤에 삽입한다. UBA는 모달리티‑별 projection layer와 shared projection layer로 구성되어, 각각의 특화된 임베딩을 공통 잠재 공간으로 매핑한다. 이렇게 함으로써 CLIP 기반 vision‑language 사전학습 가중치를 그대로 활용하면서도, 촉각 특성을 효과적으로 끌어들여 삼중 모달 간의 대칭적인 contrastive loss(InfoNCE)를 적용할 수 있다.

학습 목표는 (1) tactile‑vision, (2) tactile‑language, (3) vision‑language 사이의 쌍대 대조 손실을 동시에 최소화하고, (4) sensor‑variance loss를 추가해 센서 간 표현 일관성을 강제한다. 논문은 이 손실들의 가중치를 이론적으로 분석하고, 수렴 및 일반화에 대한 보장을 제공한다(부록 참고).

평가 측면에서 저자들은 Robustness, Synergy, Stability를 포괄하는 RSS 프레임워크를 설계했다. Robustness는 intra‑sensor, cross‑sensor, multi‑sensor 일반화 실험으로 측정하고, Synergy는 modality‑cross evaluation(특히 tactile‑vision 정렬 성능)으로 다중모달 협업 효과를 검증한다. Stability는 배치 크기 변동에 따른 성능 변동성을 분석한다. 이 프레임워크는 동일한 base model(CLIP‑ViT)과 배치 설정을 고정함으로써, 알고리즘 설계 차이에 의한 순수한 성능 차이를 드러낸다.

실험 결과는 TLV‑CoRe가 기존 CLIP‑based 방법(TL‑V‑Link, AnyTouch, UniTouch 등)보다 sensor‑agnostic representation에서 평균 12 % 이상, cross‑modal alignment에서 9 % 이상 향상됨을 보여준다. 특히, 다양한 GelSight 변형 센서에 대해 zero‑shot 전이 성능이 크게 개선되었으며, 배치 크기가 16에서 256으로 증가해도 성능 저하가 미미해 Stability가 뛰어남을 입증한다.

종합적으로 TLV‑CoRe는 (1) 센서 편향을 학습적으로 보정, (2) 촉각‑불관련 정보를 효과적으로 제거, (3) 통합된 어댑터를 통해 삼중 모달 정렬을 강화, (4) 체계적인 RSS 평가를 제공함으로써, 멀티모달 로봇 인식 분야에서 촉각을 실용적인 정보원으로 끌어올리는 중요한 진전을 제시한다.