게임을 위한 초고속·고정밀 시선 추적 시스템 개발

초록

본 논문은 적외선이 아닌 일반 가시광 카메라를 이용해 눈동자 중심과 눈꼬리를 실시간으로 검출하고, 이 정보를 기반으로 눈구 모델을 적용해 시선 위치를 추정하는 시스템을 제안한다. 9명의 피험자를 대상으로 수행한 실험에서 수평 시선 오차는 평균 2.50°, 수직 오차는 평균 3.07°를 기록했으며, 30 fps에서 300 Hz까지 처리 가능한 속도를 보였다.

상세 분석

이 연구는 기존 적외선 기반 비디오 안구 추적(VOG) 시스템이 안구 건조·렌즈 손상 등 부작용을 야기한다는 점을 지적하고, 저비용·범용 가시광 카메라로 동일한 수준의 정확도를 달성하려는 시도를 보인다. 핵심 알고리즘은 크게 세 단계로 구성된다. 첫째, 눈동자 중심을 찾기 위해 이중 원 피팅(double circle fitting) 방식을 사용한다. 원본 640×480 영상을 80×60으로 축소한 뒤, 동적 이소데이터 임계값을 적용해 눈 영역을 분리하고, 고정 비율(폭의 0.15) 윈도우를 수평 스캔해 최대 회색값을 갖는 위치를 초기 눈동자 후보로 선정한다. 이후 원본 해상도로 복원해 샘플 포인트를 ‘지그재그 스캔’ 방식으로 추출한다. 이 방식은 전통적인 라인 스캔보다 잡음에 강하고 연산량을 크게 줄인다. 추출된 포인트에 대해 최소 제곱법을 이용한 대수적 원 피팅을 수행하고, 거리 기반 노이즈 제거 후 두 번의 원 피팅을 거쳐 최종 눈동자 중심을 산출한다.

둘째, 눈꼬리 검출에는 수직 분산 투영 함수(VPF)를 활용한다. 눈동자 중심과 반경을 기반으로 눈꼬리 후보 영역을 정의하고, 해당 영역의 VPF와 그 미분값을 분석해 눈꼬리의 수직 위치를 찾는다. 이후 Sobel 엣지 검출을 적용해 눈꺼풀 경계를 추출하고, 수평 위치는 VPF 피크와 엣지 교차점으로 결정한다. 눈꼬리를 기준점으로 삼음으로써 머리 움직임에 따른 시선 오차를 자동 보정한다.

셋째, 눈구 모델을 적용해 시선 벡터를 계산한다. 눈동자 중심과 눈꼬리 사이의 벡터를 구하고, 안구 반경(r_ball≈12~13 mm)과 화면까지의 거리(d≈650 mm)를 가정해 눈구의 구면 투영을 이용한다. 두 개의 보정점(두 점 캘리브레이션)으로 선형 보정 계수 k를 추정하고, 이를 통해 실제 화면 좌표상의 시선 위치를 추정한다.

실험에서는 DSP 보드(TMS320C6416)와 Sony 카메라를 이용해 30 fps, 640×480 해상도로 실시간 추적을 구현했으며, 10번 반복 적용 시 300 Hz 샘플링이 가능함을 확인했다. 9명의 피험자(안경 착용자 포함)에게 두 점 캘리브레이션을 수행시킨 뒤 7개의 목표점을 제시했으며, 평균 수평 오차 28 mm(2.50°), 수직 오차 35 mm(3.07°)를 기록했다. 최적 상황에서는 21 mm(1.85°)까지 오차가 감소했다. 오류 원인으로는 눈썹이 가려지는 경우와 눈동자 일부가 가려져 샘플 포인트가 부족해 원 피팅이 실패하는 경우가 보고되었다.

시연 애플리케이션으로는 ‘Hammer Heads’라는 간단한 슈팅 게임과 설문 조사 기계가 구현되었으며, 사용자는 눈동자만으로 목표물을 선택하거나 ‘예/아니오’ 버튼을 선택할 수 있었다. 사용자 피드백은 전반적으로 긍정적이었으나, 눈썹이 머리카락에 가려지는 경우 검출 실패가 발생해 재시도가 필요했다.

전체적으로 이 시스템은 저비용 하드웨어와 비교적 간단한 알고리즘으로 실시간 게임 인터페이스에 적용 가능한 수준의 정확도와 처리 속도를 달성했으며, 향후 안구-스크린 거리 자동 측정 및 고정밀 캘리브레이션 기법을 도입해 오차를 더욱 감소시킬 여지가 있다.