시선을 따라가는 촉각, 시각 장벽을 넘다

초록

본 연구는 가상 현실 및 3D 게임 환경에서 시각 정보를 직관적인 촉각 신호로 변환하는 ‘포비에이트 햅틱 게이즈(Foveated Haptic Gaze, FHG)’ 시스템을 제안합니다. 손의 방향으로 ‘시선’을 조준해 객체의 상세 정보를 얻고, 등에 부착된 디스플레이로 주변 상황을 인지할 수 있도록 설계되어, 시각 장애인도 실시간 3D 환경을 탐색하고 상호작용할 수 있게 합니다. 이를 검증하기 위해 개발된 간단한 FPS 게임에서 시각 장애인과 시력 정상 참가자 모두가 시각 피드백 없이 게임을 성공적으로 수행할 수 있음을 사용자 연구를 통해 확인했습니다.

상세 분석

이 연구의 핵심 기술적 혁신은 인간의 ‘포비에이트 비전(Foveated Vision)’ 메커니즘을 촉각 인터페이스에 성공적으로 적용한 점에 있습니다. 포비에이트 비전이 중심와(고해상도)와 주변 시야(광시야각)의 이중 시스템으로 효율적인 시각 처리를 가능케 하듯, FHG 시스템도 두 개의 독립된 촉각 채널을 구축했습니다: 첫째, 손가락에 부착된 진동 모터를 통해 사용자가 손으로 ‘응시’하는 객체의 정체(예: 몬스터 vs 폭발통)와 같은 고해상도 정보를 전달합니다. 둘째, 등에 부착된 햅틱 디스플레이(의자)는 사용자의 현재 시야 내에 존재하는 모든 객체의 위치를 동시에 표현하여 주변 상황에 대한 광범위한 공간적 인지(햅틱 주변 시야)를 제공합니다.

또한, 시스템의 직관성을 높이는 키 메커니즘은 ‘시선’과 ‘주변 시야’의 통합입니다. 등 디스플레이는 사용자의 현재 ‘시선(손의 방향)’ 위치도 표시하므로, 사용자는 등에서 느껴지는 객체의 위치 진동과 자신의 시선 위치 진동을 일치시킴으로써 자연스럽게 객체를 ‘주시’하는 행동을 학습할 수 있습니다. 이는 시력이 있는 사람이 주변에서 무언가를 발견하면 시선을 옮겨 자세히 보는 자연스러운 과정을 촉각 영역에서 정확히 모사한 것입니다.

연구의 검증 방법도 주목할 만합니다. 복잡한 실시간 3D 상호작용이 필요한 1인칭 슈팅 게임(Doom 기반)을 선택한 것은 시스템의 실용성과 일반화 능력을 극한으로 테스트하기 위함입니다. 게임 플레이에는 정확한 조준과 대상 식별이 필수적이므로, FHG가 단순한 탐색을 넘어 능동적이고 정교한 상호작용을 지원할 수 있음을 입증하는 강력한 근거가 됩니다. 사용자 연구에서 시각 장애인과 시력 정상인 두 집단을 모두 포함시킨 점은 시스템의 보편적 학습 가능성을 탐구하려는 의도로 해석됩니다. 시각적 선행 경험이 새로운 촉각-공간 인터페이스 학습에 미치는 영향을 비교 분석함으로써, 순수 촉각 기반 공간 인지에 대한 귀중한 통찰을 얻을 수 있었을 것입니다.