가상 반사와 동적 2D 눈 모델이 만든 새로운 공간 지시 체계

초록

본 논문은 화면에 표시되는 2D 인공 눈에 가상 거울 반사를 겹쳐, 눈의 시선과 동시에 주시 대상의 영상을 보여주는 “Mirror Eye” 방식을 제안한다. 30명의 참가자를 대상으로 빠른 그룹 게임 과제에서 기존 눈 모델과 순수 반사 모델에 비해 식별 정확도와 사용자 만족도가 크게 향상됨을 실험적으로 입증하였다.

상세 분석

이 연구는 인간의 눈이 시선과 동시에 주변을 반사한다는 생물학적 특성을 디지털 환경에 적용하려는 시도이다. 핵심 아이디어는 눈동자(동공·홍채)와 함께 가상 거울 이미지를 눈 안에 투사함으로써, 관찰자가 “두 단계”(눈을 보고 시선을 추적 → 대상 위치 추정) 과정을 한 번에 수행하도록 하는 것이다. 이를 위해 저자들은 네 개의 모듈로 구성된 프로토타입을 구현했다. 첫 번째 모듈은 2D 눈 모델을 실시간으로 움직이는 동적 눈으로, 카메라 이미지 좌표를 눈 좌표계로 매핑하고, 객체 크기와 카메라 초점거리·센서 크기를 이용해 거리 추정값을 계산한다. 거리 정보는 양안의 동공·홍채 위치에 미세한 수평 오프셋을 부여해, 인간 눈의 수렴각(EVA)과 유사한 입체적 단서를 제공한다. 두 번째 모듈은 얼굴 트래킹 기반 주의(attention) 모듈로, MediaPipe와 OpenCV를 활용해 다중 얼굴을 식별·추적하고, 최근 위치 정보를 바탕으로 눈이 바라볼 목표 좌표를 지속적으로 업데이트한다. 세 번째 모듈은 가상 반사 생성 모듈이다. 카메라 영상을 좌우 반전시켜 투명도를 조절한 뒤, 눈의 동공 위치와 반대 방향으로 일정한 공간 이동(식(1)~(4))을 적용해 눈 안에 작은 “거울 이미지”를 삽입한다. 이 과정은 큰 화면 영상을 눈 크기에 맞게 압축하면서도 해상도 손실을 최소화한다. 네 번째 모듈은 전체 파이프라인을 파이썬으로 통합한 소프트웨어 스택이며, 실시간 성능을 확보하기 위해 최적화된 이미지 처리와 비동기식 이벤트 루프를 사용한다. 실험 설계는 일본 전통 단어 연결 게임인 ‘시리토리’를 변형한 과제로, 3인 1팀이 무작위로 선택된 차례에 따라 버튼을 눌러야 한다. 눈 모델은 매번 한 사람을 바라보며, 참가자는 3초 이내에 버튼을 눌러 자신이 선택됐는지를 판단한다. 세 가지 조건(Eyes‑Only, Mirrors‑On, Pure‑Reflection)에서 정확도와 반응 시간을 측정했으며, Mirror Eye 조건이 평균 18%p 높은 정확도와 0.42 s 짧은 반응 시간을 보였다. 주관적 설문에서도 사용성·몰입감 점수가 유의미하게 상승했다. 통계 분석은 반복 측정 ANOVA와 사후 검정으로 수행돼, H1(정확도 향상)과 H3(사용자 경험 향상)을 지지했으며, H2(속도 감소)와는 반대로 속도가 빨라졌다는 역효과를 확인했다. 연구는 2D 화면 기반 눈 모델이 깊이 정보를 전달하기 어려운 한계를 가상 반사와 눈간 시차를 결합해 보완할 수 있음을 보여준다. 다만, 현재 구현은 단일 관찰자 시점에 최적화돼 있어 다중 사용자 환경에서의 시점 충돌 문제와, 반사 이미지의 투명도·크기 조절이 인지 부하에 미치는 영향에 대한 추가 검증이 필요하다. 향후 연구는 AR/VR 헤드셋과 연동해 실제 깊이 단서를 제공하거나, 머신러닝 기반 얼굴 인식으로 보다 정교한 주의 전환을 구현하는 방향으로 확장될 수 있다.