VR에서 360도 카메라로 촬영한 수화 영상의 이해도 탐구

초록

본 연구는 몸에 부착한 360도 카메라를 이용해 ASL(미국 수화) 영상을 촬영하고, VR 환경에서 시청자가 이를 얼마나 정확히 인식하는지를 평가한다. 머리·어깨·가슴 세 위치에 카메라를 장착한 결과, 어깨 부착이 85%의 최고 정확도를 보였지만 통계적으로 유의미한 차이는 없었다. 영상 왜곡과 시야 제한이 이해도에 영향을 미쳤으며, 전반적인 성공률은 83.3%였다. 참여자들은 텍스트보다 수화가 VR에서 더 선호된다고 답했으며, 카메라 각도와 왜곡 최소화가 향후 과제로 제시되었다.

상세 분석

이 논문은 VR 환경에서 Deaf‑Hard‑of‑ Hearing(DHH) 사용자를 위한 접근성 향상을 목표로, 360도 전방위 카메라를 몸에 부착해 실시간이 아닌 사전 녹화된 ASL 영상을 제공한다는 새로운 접근법을 제시한다. 연구 설계는 피험자 내적 설계(within‑subject)로, 카메라 부착 위치(머리, 어깨, 가슴)라는 단일 독립 변수를 가지고 ASL 인식 정확도를 종속 변수로 측정한다. 10명의 DHH 참가자를 대상으로 최소쌍(minimal pair), 비최소쌍(non‑minimal pair), 문장 세 가지 과제를 각각 10개씩 제시해 총 30개의 시험을 수행하게 하였으며, 과제 난이도와 유형을 균등하게 배분했다.

통계적으로는 어깨 부착이 85%의 정확도를 보였지만, ANOVA 혹은 비모수 검정 결과 p값이 0.05를 초과해 유의미한 차이를 입증하지 못했다. 이는 표본 수가 10명으로 제한적이었으며, 효과 크기가 작아 검정력(power)이 부족했을 가능성을 시사한다. 또한, NASA‑TLX를 통한 인지적 부하 측정과 주관적 피드백을 수집했지만, 정량적 부하 결과가 논문에 상세히 제시되지 않아 실제 작업 부하와 이해도 간의 상관관계를 파악하기 어렵다.

기술적 측면에서 360도 영상의 주변 왜곡(peripheral distortion)이 주요 문제로 지적되었다. 어깨 부착이 가장 균형 잡힌 시점을 제공했지만, 반대쪽 손 동작이나 얼굴 표정이 왜곡되어 인식 오류를 야기할 수 있다. 카메라 자체가 2개의 피시아이(fisheye) 렌즈를 사용해 equirectangular 변환을 거치는데, 이 과정에서 해상도 손실과 왜곡이 발생한다는 점은 향후 실시간 스트리밍 시 더욱 두드러질 것이다.

연구는 기존의 손 트래킹·아바타 기반 수화 전달 방식이 하드웨어 의존도와 렌더링 비용이 높다는 한계를 보완하려는 시도로 의미가 있다. 그러나 현재는 사전 녹화된 영상에 의존하고 있어 실시간 양방향 커뮤니케이션에는 한계가 있다. 또한, 카메라 부착 위치 외에 조명, 배경 복잡도, 서명자의 신체 크기 등 변인들을 통제하지 않아 결과 일반화에 제약이 있다.

향후 연구에서는(1) 표본 확대와 교차 검증을 통한 통계적 검정력 강화, (2) 실시간 스트리밍 파이프라인 구축 및 지연시간 측정, (3) 왜곡 보정 알고리즘(예: 전방 투영 변환) 적용, (4) 다중 카메라(예: 어깨+가슴 복합) 혹은 움직이는 마운트(예: 스마트 웨어러블) 탐색, (5) 청각 비사용자와의 혼합 커뮤니케이션 시나리오(예: 텍스트·음성·수화 동시 제공) 등을 제안한다. 전반적으로 이 연구는 VR 내 수화 전달을 위한 실용적인 베이스라인을 제공했으며, 접근성 기술 개발에 있어 중요한 초기 단계라고 평가할 수 있다.