고정밀 로봇 매니퓰레이터 원격조작 프레임워크를 활용한 인간 중심 증강현실 평가

초록

ARBot은 인간 손동작을 실시간으로 캡처하고 로봇 매니퓰레이터에 재현함으로써 AR 트래킹·인터랙션 평가에 필요한 정밀하고 반복 가능한 물리적 기준 데이터를 제공한다. CV+IMU와 모바일 ARPose 두 가지 캡처 모드를 지원하고, QP 기반 안전 필터를 적용한 200 Hz 위치 제어로 5 mm 수준의 평균 오차와 20 ms 이하의 지연을 달성한다. 132개의 형태 추적 궤적을 포함한 데이터셋과 전체 소스 코드를 공개한다.

상세 분석

본 논문은 증강현실(AR) 시스템의 성능 검증에 있어 “물리적 움직임의 재현성”이라는 핵심 문제를 로봇 매니퓰레이터를 이용해 해결하고자 한다. 기존 AR 평가 프레임워크는 주로 소프트웨어 레벨(예: ILLIXR, ExpAR)이나 인간 피험자를 직접 이용하는 방식에 의존했으며, 인간의 생체역학적 변동성, 피로, 미세 떨림 등으로 인해 동일 실험을 반복하기 어려웠다. ARBot은 이러한 한계를 인식하고, 인간 손동작을 두 가지 경로—(1) 스마트폰 기반 ARCore VIO를 활용한 6‑DOF 모바일 인터페이스(ARPose), (2) 깊이 카메라와 착용형 IMU를 결합한 비접촉식 CV+IMU 인터페이스—로 캡처한다. 특히 CV+IMU는 고속 IMU(200 Hz)와 실시간 깊이 영상 융합을 통해 급격한 회전이나 미세 움직임에서도 트래킹 손실을 최소화한다는 점이 돋보인다.

제어 측면에서는 로봇의 안전성과 부드러운 움직임을 보장하기 위해 3단계 파이프라인을 설계했다. 첫 단계는 뉴턴‑라프슨 기반 Damped Least‑Squares(DLS) IK 솔버로 목표 자세에 대응하는 관절 목표값 (q_{target})를 계산한다. 여기서 DLS는 특이점 근처에서의 발산을 억제하고 관절 속도 제한을 자연스럽게 반영한다. 두 번째 단계는 OSQP를 이용한 Quadratic Programming(QP) 안전 필터이다. 목표 속도 (\dot q_{need})와 실제 허용 범위((\dot q_{min},\dot q_{max})) 사이의 제약을 명시적으로 정의함으로써 급격한 사용자 입력이 로봇 하드웨어를 초과하지 않도록 사전 차단한다. 마지막 단계는 QP 결과 속도를 적분해 현재 관절 위치에 더하는 위치‑중심 제어 방식이다. 이 구조는 네트워크 패킷 손실 시 로봇이 마지막 유효 목표에 정지하도록 하여 “Zero‑Order Hold” 방식의 위험을 회피한다.

시스템 구현에서는 ROS2 Humble 기반의 분산 아키텍처를 채택하고, 좌표계 변환을 위해 ARCore(Y‑up)와 로봇(Z‑up) 사이의 고정 쿼터니언 변환을 실시간 적용한다. 저지연 통신을 위해 IMU 데이터는 22바이트 바이너리 프로토콜, ARPose 데이터는 지속적인 WebSocket 연결을 사용한다. 이러한 설계는 전체 파이프라인의 평균 지연을 19.5 ms(CV+IMU 38.5 ms) 수준으로 유지하면서 5 mm 이하의 위치 오차를 달성하게 한다.

사용자 실험(11명, IRB 승인)에서는 인간이 직접 수행한 궤적과 로봇이 재현한 궤적 사이의 평균 절대 오차가 5 mm, 인간 간 변동성은 로봇 변동성의 10배에 달함을 확인했다. 또한 피험자 7명은 손에 들고 조작하는 ARPose 방식을 선호했으며, 나머지 4명은 손을 비우고 사용할 수 있는 CV+IMU 방식을 선호했다. 이는 두 캡처 모드가 서로 보완적인 사용 시나리오를 제공함을 시사한다.

마지막으로 저자들은 132개의 6‑DOF 궤적(원, 정사각형 등)과 합성 데이터셋을 공개하고, 전체 소스 코드를 오픈소스로 제공한다. 이는 AR 연구 커뮤니티가 물리적 기준 데이터를 손쉽게 재현·확장할 수 있게 함으로써, 트래킹 알고리즘의 정량적 평가뿐 아니라 사용자 체감 품질을 정밀하게 분석할 수 있는 기반을 마련한다.