저비용 고정밀 손 물체 동작 캡처 시스템 DexterCap

초록

DexterCap은 저렴한 산업용 카메라와 문자‑코드가 새겨진 고밀도 마커 패치를 이용해 손가락 사이의 심한 자기폐색을 극복하고, 자동화된 3D 재구성 파이프라인을 제공한다. 이를 통해 Rubik’s Cube와 같은 복합 물체의 정교한 인핸드 조작을 포함한 대규모 손‑물체 상호작용 데이터셋 DexterHand를 저비용으로 구축하였다.

상세 분석

본 논문은 기존 고가 광학 모션 캡처 시스템이 갖는 “카메라·마커·수동 정제”의 3가지 비용을 동시에 낮추는 설계를 제시한다. 첫 번째로, 저비용 산업용 흑백 카메라 6대(2048×2448, 20 fps)를 2 × 1 × 2 m 프레임에 배치하고, 표준 OpenCV 캘리브레이션으로 정확한 내부·외부 파라미터를 획득한다. 짧은 1 ms 노출과 조리개 최소화로 움직임 블러와 깊이 범위 문제를 완화한다. 두 번째 핵심은 ‘문자‑코드 마커 패치’이다. 26개의 대문자와 10개의 숫자를 조합해 324개의 고유 태그를 만들고, 각 태그에 밑줄을 추가해 방향성을 부여한다. 마커는 의료용 접착 테이프에 전사 인쇄해 손의 19개 강체 부위(지관절·등·손바닥)와 물체 표면에 부착한다. 이렇게 하면 500여 개의 코너가 생성돼 심한 자기폐색 상황에서도 충분한 관측점을 확보한다.

마커 검출 파이프라인은 세 단계로 구성된다. ① CornerNet: U‑Net 기반 히트맵 생성기로 64×64 패치에서 코너를 고해상도 가우시안 피크로 예측한다. 다중 스케일(원본·반축소) 처리를 통해 원근 변형에 강인하게 만든다. ② EdgeNet: ResNet 기반 이진 분류기로 코너 쌍 사이에 실제 에지가 존재하는지 판단한다. 거리 임계값을 95 % 리콜 수준으로 설정해 불필요한 조합을 배제한다. ③ BlockNet: 최종 블록(체커보드) 인식을 수행해 문자 ID를 추출한다. 기존 ArUco와 달리 학습 기반 접근법은 마커가 구부러지거나 부분적으로 가려져도 높은 정밀도를 유지한다.

포즈 복원 단계에서는 MANO(Hand Mesh and Articulated Object) 모델을 이용해 손의 전역 회전·전이·관절 각도를 최적화한다. 마커 좌표와 MANO 파라미터 사이의 비선형 최소제곱을 Levenberg‑Marquardt로 해결하고, 물체는 사전 정의된 6‑DoF 변환 파라미터(또는 Rubik’s Cube와 같은 다관절 물체의 경우 각 조각별 변환)와 매칭한다. 캘리브레이션 단계에서 손의 개인별 형상 파라미터를 추정해 이후 세션에 재사용함으로써 라벨링 비용을 크게 감소시킨다.

실험에서는 기존 고가 시스템(Qualisys) 대비 3 mm 이하의 평균 위치 오차와 5° 이하의 회전 오차를 달성했으며, 특히 손가락 끝 움직임(±2 mm)과 물체 회전(±3°)에서 경쟁력을 보였다. 데이터셋 DexterHand는 10 분 이상 지속되는 200여 개 시퀀스, 30여 종류 물체(기본 프리미티브·Rubik’s Cube·다관절 도구)를 포함한다. 각 시퀀스는 3D 손·물체 메쉬, 마커 좌표, 접촉 라벨을 제공해 향후 물리 기반 시뮬레이션·시각‑언어 모델 학습에 활용 가능하다.

본 시스템의 장점은 (1) 하드웨어 비용이 수천 달러 수준으로 저렴함, (2) 초기 라벨링을 제외하고는 완전 자동 파이프라인으로 대규모 데이터 수집이 가능함, (3) 문자‑코드 마커 덕분에 심한 자기폐색에서도 높은 재구성 정확도를 유지한다는 점이다. 한계로는 손가락 사이의 마커가 완전히 가려질 경우 복원 정확도가 떨어질 수 있으며, 조명 변화에 민감한 흑백 카메라 특성상 일정 수준의 조명 제어가 필요하다. 향후 연구에서는 마커‑없는 영역을 보완하기 위한 딥러닝 기반 이미지‑기반 손‑물체 접촉 추정과, 실시간 피드백을 통한 인터랙티브 캡처 시스템으로 확장할 여지가 있다.