VR 인터랙션 자동 테스트를 위한 Interaction Flow Graph와 XRintTest

초록

본 논문은 VR 애플리케이션에서 흔히 나타나는 3D 사용자 인터랙션을 체계적으로 모델링하고, 이를 기반으로 자동화된 테스트 도구 XRintTest를 구현한다. Interaction Flow Graph라는 새로운 추상화를 도입해 인터랙션 흐름을 정형화하고, 10개의 씬과 456개의 인터랙션을 포함한 XRBench3D 벤치마크를 구축했다. 실험 결과 XRintTest는 93%의 커버리지를 달성하고, 무작위 탐색 대비 12배 효율적이며 6배 빠른 성능을 보였다. 또한 런타임 예외와 비예외 기능 결함, 인터랙션 설계 냄새까지 자동으로 탐지한다.

상세 분석

이 연구는 VR 테스트 분야에서 두 가지 핵심 문제를 동시에 해결한다. 첫째, 기존 연구는 2D UI 중심의 이벤트 트리거에 머물러 3D 컨트롤러 기반 입력을 충분히 모델링하지 못했다. 저자들은 9개의 오픈소스 VR 프로젝트를 정량적으로 분석해 fire, manipulate, socket, custom이라는 네 가지 주요 인터랙션 유형을 도출했다. 이는 VR 환경에서 사용자가 수행하는 행동을 실제 컨트롤러 버튼(트리거, 그랩)과 물리적 객체 조작으로 구분한 실용적인 분류이다. 둘째, 인터랙션을 정형화할 수 있는 모델이 부재했다는 점이다. 이를 위해 제안된 Interaction Flow Graph(IFG)는 인터랙터와 인터랙터블을 노드로, 조건과 액션 시퀀스를 라벨링한 유향 에지로 표현한다. 기존 XUI Graph가 단일 원자 행동만을 다루었던 반면, IFG는 복합 행동(예: 연속적인 그랩‑이동‑릴리즈)을 하나의 에지에 다중 액션 시퀀스로 기록함으로써 복잡한 멀티스텝 인터랙션을 정확히 포착한다. 또한 레이어 마스크와 물리 레이어를 모델에 포함시켜, 잘못된 레이어 설정이 인터랙션 실패를 초래하는 상황을 정량적으로 진단한다. XRintTest는 이러한 IFG를 입력으로 받아 자동으로 씬을 탐색하고, 각 인터랙션 노드에 대해 컨트롤러 입력 시퀀스를 합성한다. 테스트 오라클은 런타임 예외뿐 아니라 상태 불일치, 물리 충돌 오류 등 비예외적 결함을 자동 검출하도록 설계되었다. 실험에서는 XRBench3D 벤치마크(10개 씬, 456개 인터랙션)를 활용해 무작위 탐색 대비 12배 높은 효과성(effective coverage)와 6배 높은 효율성(efficiency)을 기록했으며, 전체 인터랙션 중 93%를 성공적으로 실행했다. 또한 IFG 분석을 통해 “interaction smell”이라 명명한 설계 결함(예: 불필요한 레이어 중복, 트리거와 그랩이 동시에 바인딩된 객체)도 식별했다. 이러한 결과는 IFG가 테스트 자동화뿐 아니라 인터랙션 설계 품질 평가에도 활용될 수 있음을 시사한다. 한계점으로는 현재 지원되는 액션이 트리거와 그랩에 국한돼 있어, 핸드 트래킹이나 햅틱 피드백 등 최신 XR 입력을 포괄하지 못한다는 점이다. 향후 연구에서는 액션 종류를 확대하고, 동적 환경(예: 물리 기반 변형)에서의 인터랙션 변이를 모델링하는 것이 필요하다.