텍스처 강인성 기반 변형 물체 조작을 위한 체인오브생각 정제 프레임워크

초록

TRACER는 복잡한 텍스처를 가진 변형 물체의 조작을 위해 고수준 언어 명령을 계층적 서브태스크로 분해하고, 이를 물리적으로 일관된 픽셀‑레벨 affordance 맵으로 정제한다. Tree‑structured Affordance Chain‑of‑Thought(TA‑CoT), Spatial‑Constrained Boundary Refinement(SCBR) 손실, Interactive Convergence Refinement Flow(ICRF) 세 모듈을 결합해 경계 오버플로와 영역 파편화를 크게 감소시켰으며, Fine‑AGDDO15와 실제 로봇 실험에서 정밀도와 장기 성공률을 크게 향상시켰다.

상세 분석

TRACER는 변형 물체 조작에서 가장 난해한 두 문제, 즉 “경계 넘침(boundary overflow)”과 “기능 영역 파편화(fragmentation)”를 동시에 해결하려는 시도이다. 이를 위해 저자는 세 가지 핵심 기술을 제안한다. 첫 번째는 Tree‑structured Affordance Chain‑of‑Thought(TA‑CoT)이다. TA‑CoT는 고수준 명령(예: “티‑셔츠를 접어라”)을 트리 형태의 서브태스크(예: “소매를 잡아라”, “소매를 위로 올려라”)로 단계별 분해하고, 각 단계마다 현재 물체의 토폴로지(예: 소매 위치)를 비전 모델이 검증하도록 설계했다. 이렇게 하면 언어‑레벨 추론이 물리적 상태와 동기화돼 논리적 불일치가 최소화된다. 두 번째는 Spatial‑Constrained Boundary Refinement(SCBR) 손실이다. 기존 affordance heatmap은 텍스처 변동에 민감해 배경까지 확산되는 경향이 있었지만, SCBR은 객체 경계 정보를 정규화 항으로 삽입해 전역 구조 일관성을 강조한다. 구체적으로, 예측 맵과 객체 마스크 사이의 교차 엔트로피를 최소화하면서, 경계 근처의 gradient를 억제해 “흐르는” 예측이 물리적 한계 안에 머물게 만든다. 세 번째는 Interactive Convergence Refinement Flow(ICRF)이다. ICRF는 초기 예측이 다중 모드(산재된 픽셀)일 때, 연속적인 흐름(field) 시뮬레이션을 통해 픽셀들을 물리적으로 가능한 상호작용 매니폴드로 수렴시킨다. 이는 기존의 정적 MSE 기반 flow와 달리, 픽셀‑레벨 속도장(vector field)을 학습해 각 픽셀이 주변 이웃과 협력적으로 이동하도록 설계했으며, 결과적으로 파편화된 영역이 하나의 연속된 affordance 영역으로 재구성된다. 실험에서는 Fine‑AGDDO15 데이터셋(15개 카테고리, 15개 affordance)과 실제 듀얼‑암 로봇을 사용해 KLD, SIM, NSS 지표에서 각각 4.8 %, 7.5 %, 4.3 % 향상을 기록했다. 특히 텍스처가 복잡한 옷감·타월 등에서 성공률이 70 %(조직물 당기기)·60 %(의류 정리)까지 상승했다. 종합적으로, TRACER는 고수준 언어 추론과 저수준 시각 정제 사이의 “폐쇄‑루프”를 구현함으로써, 대규모 행동 데이터 없이도 변형 물체 조작의 신뢰성을 크게 높였다. 다만 현재는 2D 이미지 기반이며, 3D 형태·물성(탄성, 마찰) 정보를 직접 활용하지 않아 복잡한 물리 시뮬레이션이 필요한 작업에는 한계가 있다. 향후 멀티‑모달(깊이·포인트 클라우드)와 물리 엔진 연계가 이루어진다면 더욱 일반화된 변형 물체 조작 프레임워크로 확장될 가능성이 크다.