경험 기반 사전 잡힘 힘 예측 비전 언어 모델

초록

Exp‑Force는 로봇 손목 카메라에서 얻은 단일 RGB 이미지와 소량의 과거 잡힘 경험을 활용해, 컴플라이언트 그리퍼가 물체를 들어올리기 위해 필요한 최소 잡힘 힘을 추정한다. 이미지‑텍스트 멀티모달 임베딩으로 유사 경험을 검색하고, 검색된 사례를 인‑컨텍스트 프롬프트에 삽입해 최신 비전‑언어 모델(GPT‑5.2, Gemini‑3‑Flash, Gemini‑3‑Pro)에게 힘을 예측하도록 한다. 129개의 물체에 대한 오프라인 평가에서 평균 절대 오차(MAE) 0.43 N을 달성했으며, 실제 로봇 실험에서는 적절한 힘 선택 비율을 63 %에서 87 %로 향상시켰다.

상세 분석

Exp‑Force 논문은 사전 잡힘 힘 선택이라는 좁은 문제에 대규모 비전‑언어 모델(VLM)을 적용한 최초 시도라 할 수 있다. 핵심 아이디어는 인간이 물체를 볼 때 과거 경험을 떠올려 적절한 힘을 가늠하는 과정을 모델링하는 것이다. 이를 위해 저자들은 세 단계 파이프라인을 설계했다. 첫 번째 단계는 ‘객체 설명 생성’으로, 입력 이미지와 사전 정의된 작업 컨텍스트(C)를 함께 VLM에 전달해 물체의 크기·형태·표면 거칠기·재질 등 물리적 속성을 텍스트로 추출한다. 이 텍스트는 이후 유사도 검색에 중요한 역할을 한다. 두 번째 단계는 ‘경험 검색’이다. 물체 이미지와 텍스트 설명을 멀티모달 임베딩 모델(여기서는 Qwen3‑VL‑Embedding‑8B)로 변환하고, 사전에 구축된 129개의 경험 풀(물체명, 질량, 설명, 이미지, 실제 최소 잡힘 힘)과 코사인 유사도를 계산한다. 상위 k개(실험에서는 k=6)가 선택돼 인‑컨텍스트 예제로 사용된다. 세 번째 단계는 ‘경험‑조건화 힘 추론’이다. 선택된 경험 집합과 동일한 작업 컨텍스트를 포함한 프롬프트를 최신 VLM에 전달해, 모델이 직접 힘 값을 출력하도록 한다. 여기서 중요한 점은 전통적인 마찰계수·무게·접촉 모델 등 물리식이 전혀 삽입되지 않았다는 것이다. 대신 VLM이 내재한 일반 상식과 사전 학습된 대규모 이미지‑텍스트 연관성을 활용한다. 실험 결과는 두 가지 차원에서 의미 있다. 오프라인 평가에서는 제로샷 VLM 대비 MAE가 72 % 감소했으며, 특히 무게가 가벼운 물체와 얇은 병 형태 등 복합적인 접촉 조건에서도 안정적인 예측을 보였다. 실제 로봇 실험에서는 30개의 전혀 보지 않은 물체에 대해 적절한 힘 선택 비율이 63 %에서 87 %로 크게 상승했는데, 이는 과소·과대 힘 적용에 따른 물체 파손이나 미끄러짐을 현저히 줄였음을 의미한다. 또한 k=6 정도의 소수 예시만으로도 충분히 좋은 성능을 얻어, 경험 풀 규모와 메모리 요구가 제한적인 로봇 시스템에도 적용 가능함을 보여준다. 그러나 몇 가지 한계도 존재한다. 첫째, 현재 구현은 RGB 이미지와 질량 정보만을 사용하므로, 물체의 실제 마찰계수나 내부 강성 등 직접 측정이 어려운 물리량을 완전히 대체하지는 못한다. 둘째, VLM의 출력이 수치형 힘 값으로 바로 변환되기 위해서는 정교한 프롬프트 설계와 후처리(예: 단위 정규화)가 필요하며, 모델에 따라 편향이 발생할 수 있다. 셋째, 실험에 사용된 그리퍼는 두 개의 평행 핑거와 컴플라이언트 피니 레이 구조이지만, 다관절 손이나 진공 그리퍼 등 다른 형태에 대한 일반화 검증은 부족하다. 향후 연구에서는 (1) 촉각·포스 센서와의 멀티모달 융합을 통해 VLM이 제공하는 추론을 보정하고, (2) 다양한 로봇 손형에 대한 전이 학습 전략을 모색하며, (3) 경험 풀을 자동으로 확장·정제하는 온라인 학습 메커니즘을 도입함으로써 지속적인 성능 향상을 기대할 수 있다. 전반적으로 Exp‑Force는 비전‑언어 모델을 로봇 물리 제어에 연결하는 새로운 패러다임을 제시하며, 데이터 효율성과 일반화 측면에서 유망한 방향을 제시한다.