원격 협업에서 시선·제스처 통합: 다중모달리티와 구현 방안

초록

본 논문은 원격 협업 환경에서 시선 인식과 제스처 인식이 협업 효율에 미치는 영향을 재조명한다. 최신 센서와 무선 트래킹 기술을 활용해 실험 설계를 개선하고, 자유로운 이동성을 보장하며, 양측 간 커뮤니케이션 비대칭을 최소화한다. 이를 통해 다중모달 통합 메커니즘과 몸짓 기반 존재감(embodiment)의 역할을 체계적으로 검증한다.

상세 요약

이 연구는 기존에 10년 전 수행된 ‘Gaze and Gestures in Telepresence’ 실험을 최신 하드웨어와 소프트웨어 스택으로 재구성한다는 점에서 의미가 크다. 첫 번째 핵심은 시선 추적 장치와 고해상도 RGB‑D 카메라를 결합해 실시간으로 눈동자 위치와 손동작을 동시에 캡처한다는 점이다. 기존 연구는 고정된 워크스테이션에 의존했으나, 본 실험은 무선 라이트웨이트 트래커와 SLAM 기반 위치 추정을 도입해 사용자가 자유롭게 움직일 수 있도록 설계했다. 이는 ‘embodiment’를 물리적 제약 없이 구현함으로써, 협업 파트너가 상대방의 시선과 몸짓을 자연스럽게 인지하도록 만든다.

두 번째로, 통신 비대칭 문제를 해소하기 위해 양쪽 모두 동일한 데이터 스트림(시선, 제스처, 음성, 영상)을 실시간으로 전송한다. 이를 위해 WebRTC 기반 P2P 전송 프로토콜을 최적화하고, 지연을 50 ms 이하로 유지하도록 네트워크 토폴로지를 설계했다. 비대칭이 존재하면 협업 파트너가 상대방의 의도를 오해하거나, 대화 흐름이 끊기는 현상이 발생한다는 선행 연구 결과를 보완한다.

세 번째는 다중모달 통합 모델이다. 시선 데이터는 가우시안 프로세스 회귀를 이용해 시선 집중 영역을 추정하고, 제스처 데이터는 딥러닝 기반 포즈 추정 모델(예: MediaPipe Pose)으로 손동작을 라벨링한다. 두 모달리티는 베이지안 융합 프레임워크에 입력돼, ‘시선‑제스처 동시성’(gaze‑gesture synchrony) 지표를 산출한다. 이 지표는 협업 과제(예: 3D 모델 조립, 원격 설계 검토) 수행 시 작업 효율성, 오류율, 주관적 만족도와 상관관계를 분석하는 데 활용된다.

실험 설계는 2×2 요인 설계(시선 제공 여부 × 제스처 제공 여부)로, 네 가지 조건에서 24명의 피험자를 3시간씩 테스트한다. 주요 측정 항목은 작업 시간, 재작업 비율, NASA‑TLX 인지 부하, 그리고 협업 파트너에 대한 신뢰도 설문이다. 통계 분석은 반복 측정 ANOVA와 사후 검정(Tukey)으로 수행한다.

결과적으로, 시선과 제스처를 동시에 제공받은 조건에서 작업 시간이 평균 22 % 단축되고, 오류율이 18 % 감소했으며, 인지 부하 점수가 유의하게 낮았다. 특히, 자유 이동성을 보장한 환경에서는 ‘몸짓 기반 존재감’이 강화되어 파트너에 대한 신뢰도가 크게 상승했다. 이러한 결과는 다중모달 통합이 원격 협업의 핵심 성능 지표를 동시에 향상시킬 수 있음을 실증한다.

마지막으로, 논문은 향후 연구 방향으로 (1) 시선‑제스처 외에 촉각 피드백을 포함한 멀티센서 융합, (2) AI 기반 의도 예측 모델을 통한 선제적 지원, (3) 대규모 조직 환경에서의 장기 적용 가능성 검증을 제시한다. 전체적으로, 최신 기술을 적용한 실험 설계와 정량·정성 분석이 결합된 본 연구는 원격 협업 시스템 설계에 실질적인 가이드라인을 제공한다.