이맥시적 시점에서 3D 손 재구성을 위한 인컨텍스트 학습

초록

EgoHandICL은 시점 기반(egocentric) RGB 영상에서 3D 손을 복원하기 위해 인컨텍스트 학습(ICL) 방식을 도입한 최초의 프레임워크이다. 비전‑언어 모델(VLM)로 유사 템플릿을 검색하고, 이미지·텍스트·구조 토큰을 융합한 전용 토크나이저로 멀티모달 컨텍스트를 구성한다. 마스크드 오토인코더(MAE) 구조와 3D 기하·지각 손실을 결합해 학습하며, ARCTIC·EgoExo4D 벤치마크와 실제 환경에서 기존 최첨단 방법들을 일관되게 앞선다.

상세 분석

EgoHandICL은 기존 egocentric 손 재구성 연구가 직면한 ‘깊이 모호성’, ‘자체 가림’, ‘복합 손‑물체 상호작용’이라는 세 가지 핵심 난제를 인컨텍스트 학습이라는 인간의 추론 메커니즘에 빗대어 해결한다. 첫 번째 핵심은 템플릿 검색 단계이다. 저자는 VLM을 활용해 (1) 사전 정의된 네 가지 손 관여 유형(좌‑손, 우‑손, 양‑손, 비손)으로 시각적 템플릿을 분류·검색하고, (2) 사용자가 제공한 자연어 프롬프트(예: “가위가 손을 가리는 상황”)를 VLM에 입력해 의미적 유사성을 기반으로 적응형 텍스트 템플릿을 추출한다. 이중 검색 전략은 시각적 일관성과 의미적 정렬을 동시에 확보해, ICL에 제공되는 예시가 질적으로 뛰어나게 만든다.

두 번째 핵심은 멀티모달 토크나이저 설계이다. 입력 이미지와 템플릿 이미지는 사전 학습된 ViT로부터 이미지 토큰(F_i)을 추출하고, 각 이미지에 대해 기존 3D 손 재구성 모델(예: HaMeR, WiLoR)으로부터 얻은 거친 MANO 파라미터(θ̂)와 정답 MANO 파라미터(θ)를 MANO 인코더에 통과시켜 구조 토큰(F_m)을 만든다. 동시에 VLM이 생성한 텍스트 설명을 텍스트 토큰(F_t)으로 변환한다. 이렇게 만든 네 종류의 토큰을 교차‑어텐션 레이어에 입력해 ICL 전용 토큰 시퀀스를 구성한다.

세 번째 핵심은 MAE‑스타일 학습이다. 템플릿과 쿼리의 목표 토큰(MANO 파라미터)을 부분적으로 마스킹하고, 마스크된 부분을 복원하도록 트랜스포머를 훈련한다. 추론 시에는 쿼리 목표 토큰을 전부 마스크해, 템플릿·이미지·텍스트·구조 컨텍스트만으로 최종 3D 손 파라미터를 예측한다. 손‑가이드 기하 손실(L2 ∥θ−θ̂∥), 메쉬 정점 손실, 실루엣·깊이 감지 기반 지각 손실을 결합해 정밀도와 시각적 일관성을 동시에 최적화한다.

실험 결과는 설득력 있다. ARCTIC·EgoExo4D 두 데이터셋에서 평균 MPJPE(Mean Per Joint Position Error)를 7‑9% 감소시켰으며, 특히 심한 가림·두 손 교차·검은 장갑 상황에서 기존 모델이 손을 놓치거나 좌우를 혼동하는 반면, EgoHandICL은 템플릿의 의미적 힌트를 활용해 정확히 복원한다. 또한 실시간 캡처 영상과 EgoVLM 기반 손‑물체 상호작용 추론 파이프라인에 적용했을 때, 재구성된 손 메쉬를 시각적 프롬프트로 제공함으로써 VLM의 상호작용 이해도가 눈에 띄게 향상되는 것을 확인했다.

전반적으로 EgoHandICL은 (1) VLM‑기반 템플릿 검색으로 ICL 예시 선택 문제를 해결하고, (2) 이미지·텍스트·구조 토큰을 통합한 토크나이저로 2D‑3D 멀티모달 갭을 메우며, (3) MAE‑형식의 마스크드 학습으로 손‑가이드 기하·지각 손실을 효과적으로 적용한다는 세 가지 혁신을 제시한다. 이는 egocentric 비전에서 데이터 부족·도메인 변이 문제를 완화하고, 향후 XR·HCI·로보틱스 분야에서 실시간, 고정밀 손 추적·재구성 시스템 구축에 중요한 발판이 될 것으로 기대된다.