XR 인터페이스에서 시선과 손 포인팅의 미다스 터치와 적응형 설계

초록

이 논문은 XR 환경에서 손과 시선 입력의 성능·작업부담 차이를 정량화하고, 모달리티별 적응형 개입이 효과를 갖는지 검증한다. 69명의 참가자를 대상으로 2 × 2 × 2 within‑subjects 실험을 수행했으며, 손 입력이 전반적으로 높은 처리량과 낮은 오류율을 보였다. 시선 입력은 ‘슬립’ 오류가 압도적으로 많아 미다스 터치 문제가 확인되었고, 제시된 시선 디클러터는 타임아웃을 약간 감소시켰지만 슬립을 감소시키지는 못했다. 손 폭 확대는 구현 오류로 평가되지 않았다. 연구는 모달리티별 고유 실패 모드에 맞춘 적응 정책 설계의 필요성을 강조한다.

상세 분석

본 연구는 XR 인터페이스에서 손과 시선 입력이 각각 어떤 인체공학적·인지적 비용을 발생시키는지를 체계적으로 분석한다. 먼저, 저자들은 물리적 피로를 초래하는 ‘고릴라 팔’ 현상과 시선 입력의 고유 문제인 ‘미다스 터치’를 이론적 배경으로 제시한다. 이를 바탕으로 두 모달리티에 특화된 적응형 개입을 설계했는데, 시선에 대해서는 시각적 산만 요소를 일시적으로 제거하는 ‘디클러터’ 메커니즘을, 손에 대해서는 목표 폭을 동적으로 확대하는 ‘폭 확대’ 메커니즘을 제안한다.

플랫폼 구현은 웹 기반 React/TypeScript 애플리케이션으로, 실제 XR 하드웨어 없이도 XR‑유사 포인팅 동작을 재현한다. 특히 시선 입력은 물리적 눈 추적 대신 ‘생리학적 기반 시선 시뮬레이션’을 적용했으며, 이는 (1) 첫 번째 차수 지연을 통한 센서 레이턴시(30–70 ms) 모사, (2) 120 deg/s 초과 속도 구간에서 커서를 고정해 사시안 억제 효과 재현, (3) 저속 구간에서 0.12° 표준편차의 가우시안 잡음을 주입해 미소안구운동과 드리프트를 모사한다. 이러한 파라미터는 기존 안구운동 연구와 일치하므로, 시선 입력의 노이즈와 지연을 정밀하게 제어할 수 있다.

실험 설계는 Modality(Hand/Gaze) × UI Mode(Static/Adaptive) × Pressure(Yes/No) 2 × 2 × 2 요인으로, 각 조건에서 ISO 9241‑9 표준에 기반한 다방향 탭핑 과제를 수행하도록 했다. 성능 지표는 Fitts’s Law 기반 처리량(bits/s)과 오류율(%)이며, 작업부담은 NASA‑TLX 하위 항목(Physical Demand, Frustration)으로 측정했다.

주요 결과는 다음과 같다. 손 입력은 평균 5.17 bits/s, 오류율 1.8%로 시선 입력(4.73 bits/s, 19.1%)에 비해 현저히 우수했다. 오류 유형 분석에서 시선 오류는 99.2%가 ‘슬립’(비의도적 활성화)이며, 손 오류는 95.7%가 ‘미스’(목표 미도달)였다. 이는 미다스 터치 현상이 시선 입력에서 주된 실패 원인임을 실증한다. 적응형 개입 중 시선 디클러터는 타임아웃(응답 지연) 비율을 약간 감소시켰지만 슬립 감소에는 효과가 없었다. 손 폭 확대는 정책 엔진 트리거가 정상 작동했음에도 UI 통합 버그로 인해 데이터가 수집되지 않아 평가가 불가능했다.

이러한 결과는 모달리티별 실패 모드에 맞춘 적응 정책이 필요함을 시사한다. 시선 입력에서는 슬립을 방지하기 위한 ‘디레일레이션(derelection)’ 혹은 ‘이중 확인(dwell+click)’ 같은 추가적인 오류 억제 메커니즘이 요구된다. 반면 손 입력에서는 피로에 따른 떨림을 보정하는 폭 확대가 유효할 가능성이 높으며, 구현 안정성만 확보된다면 성능 향상이 기대된다. 또한, 본 연구가 제시한 웹 기반 시뮬레이션 프레임워크는 하드웨어 제약 없이 재현 가능한 XR 포인팅 연구를 가능하게 하여, 향후 다양한 적응형 정책 및 멀티모달 전환 전략을 시험할 기반을 제공한다.