HOICraft: VR에서 파트 수준 손‑객체 상호작용을 위한 인‑시투 VLM 기반 저작 도구

초록

HOICraft는 비전‑언어 모델(VLM)과 대형 언어 모델(LLM)을 활용해 VR 환경에서 파트‑레벨 손‑객체 상호작용(HOI)을 신속히 설계·테스트할 수 있게 해주는 인‑시투 저작 툴이다. 설계자는 3D 객체의 인터랙티브 파트를 자동 추천받고, 사용자 선호 데이터를 기반으로 5가지 대표 HOI 패턴 중 적절한 매핑을 선택하며, 손 움직임과 가상 객체 행동을 직관적으로 연결한다. 세 차례의 사용자 연구(전문가 인터뷰, 선호도 설문, 디자이너 비교 실험)를 통해 HOICraft가 수작업 대비 반복 설계 횟수를 크게 줄이고, 사용성 점수에서도 우수함을 입증하였다.

상세 분석

본 논문은 VR에서 파트‑레벨 HOI 설계가 직면한 두 가지 핵심 문제—‘어떤 파트를 인터랙티브하게 만들 것인가’와 ‘선택·조작 방식을 어떻게 매핑할 것인가’—를 명확히 정의하고, 이를 AI 기반 자동화로 해결하려는 시도를 제시한다. 첫 번째 문제는 기존 툴이 객체 전체에 대한 물리 콜라이더나 간단한 애니메이션만 제공해 파트 수준의 세밀한 분해와 우선순위 결정을 디자이너에게 전적으로 맡겼던 점에서 비롯된다. HOICraft는 VLM을 이용해 3D 메쉬의 시각적 특징과 텍스트 기반 디자인 의도를 동시에 해석하고, ‘Part Prioritizer’ 모듈을 통해 가장 관련성 높은 파트를 자동으로 선정한다. 이는 설계자의 인지 부하를 크게 낮추고, 일관된 파트 분해 기준을 제공한다는 점에서 의미가 크다.

두 번째 문제는 선택·조작 메커니즘을 어떻게 매핑하느냐인데, 논문은 물리 기반, 제스처 기반, 접촉 기반 등 다양한 선택 방식과 직접 조작, 애니메이션 기반 조작을 조합한 5가지 대표 HOI 패턴을 도출했다. 이 패턴은 ‘사용자 능력’, ‘컨텍스트(게임, 교육, 소셜 등)’, ‘현실성 vs 편의성’이라는 세 축을 기반으로 설계되었으며, 선행 연구가 제시한 물리‑기반 혹은 제스처‑기반 접근을 단순히 나열하는 것이 아니라, 실제 사용자 경험 데이터를 통해 선호도를 정량화했다.

핵심 기술은 ‘HOI Mapping Module’이다. 이 모듈은 20명의 일반 사용자로부터 수집한 선호도 데이터를 프롬프트에 삽입해 LLM의 인‑컨텍스트 러닝을 수행한다. 파라미터를 재학습하지 않고도, 사용자 집단의 선호 경향을 반영한 맞춤형 매핑을 실시간으로 제안한다는 점이 혁신적이다. 또한, 제안된 매핑은 VR 내에서 즉시 시각화·테스트할 수 있도록 인‑시투 UI와 연결돼, 디자이너가 ‘추천 → 적용 → 피드백’의 순환을 빠르게 반복할 수 있다.

세 차례 연구는 설계 과정 전반에 걸친 검증을 제공한다. 첫 번째 형성 연구(전문가 인터뷰, n=3)에서는 파트‑레벨 HOI 설계 시 ‘분해 수준의 일관성 부족’과 ‘다양한 사용자·컨텍스트에 맞는 매핑 선택 어려움’이 주요 pain point임을 확인했다. 두 번째 선호도 조사(일반 사용자, n=20)에서는 물리 기반이 가장 현실감 있게 평가되지만, 제스처 기반이 사용성 면에서 높은 점수를 받는 등, 상황에 따라 최적 선택이 달라짐을 입증했다. 마지막 비교 실험(디자이너, n=12)에서는 HOICraft의 자동 매핑을 사용한 경우 평균 42%의 반복 설계 횟수 감소와, SUS 점수 84점(매우 우수)이라는 결과를 얻었다.

한계점으로는 현재 VLM이 3D 메쉬의 내부 구조(예: 힌지, 스프링 등)를 완벽히 파악하지 못해 복잡한 기구식 객체에 대한 파트 추천 정확도가 낮을 수 있다는 점, 그리고 사용자 선호 데이터가 문화·연령에 따라 편향될 가능성이 있다는 점을 언급한다. 향후 연구에서는 멀티모달 피드백(힘 센서, 눈동자 추적)과 다양한 인구통계학적 데이터를 결합해 모델을 확장하고, 실시간 협업 시나리오에서의 저작 효율성을 검증할 계획이다.

전반적으로 HOICraft는 VLM·LLM을 결합한 ‘디자인 의도 → 파트 자동 선택 → 사용자 맞춤 HOI 매핑 → 인‑시투 테스트’라는 완전한 파이프라인을 제공함으로써, 파트‑레벨 HOI 설계의 생산성을 크게 향상시키고, VR 인터랙션 디자인의 품질을 높이는 데 기여한다.