자폐 아동을 위한 몰입형 AR·VR 기반 공동주의 훈련 플랫폼 개발 및 평가

초록

본 연구는 눈동자 추적을 이용해 사용자의 시선만으로 상호작용하는 AR·VR 공동주의(JA) 훈련 시스템을 설계하고, ASD 아동 19명과 정상 발달 아동 13명을 대상으로 실험하였다. AR 환경에서 정상군이 ASD군보다 반응 시간이 현저히 짧았으며( p < 0.00001), ASD군의 반응 시간은 CARS 점수와 양의 상관관계(ρ = 0.57, p = 0.03)를 보였다. 정확도 측면에서도 AR이 VR(92.30 % vs 69.49 %)보다 우수했다. 결과는 몰입형 기술이 JA 훈련에 유용함을 시사한다.

상세 분석

이 논문은 기존 JA 훈련 연구가 주로 화면 기반 또는 외부 센서를 활용한 점을 보완하고자, HMD에 내장된 눈추적 기능만으로 입력을 받는 전용 플랫폼을 구현했다. 하드웨어는 FO VE 0 VR 헤드셋과 Microsoft HoloLens 2 AR 헤드셋을 사용했으며, 양쪽 모두 6자유도 추적과 고해상도 디스플레이, 적외선 기반 눈추적기를 탑재했다. 소프트웨어는 Unity 3D와 C#으로 개발되었고, Ready Player Me와 Blender, Mixamo를 활용해 아바타를 제작·애니메이션화했다. Posner 스타일의 cueing paradigm을 적용해 아바타가 좌우 3D 객체를 가리키면 피험자는 시선을 고정해 목표 객체를 선택한다. 실험 설계는 ‘시선 고정 최소 시간 2 초’를 기준으로 눈접촉과 반응 등록을 자동 기록하도록 구성했으며, Node.js 기반 서버가 실시간 데이터를 JSON 형태로 저장한다.

통계 결과는 두 가지 주요 포인트를 강조한다. 첫째, AR 환경에서 NT군이 ASD군보다 반응 시간이 현저히 짧았으며(p < 0.00001), 이는 AR이 현실 세계와의 연계성을 높여 시각적 주의 전이를 촉진한다는 가설을 뒷받침한다. 둘째, ASD군 내에서 반응 시간이 CARS 점수와 양의 상관관계를 보였는데(ρ = 0.57, p = 0.03), 이는 보다 중증인 아동일수록 시선 기반 반응이 늦어짐을 의미한다. 정확도 비교에서도 AR이 VR보다 높은 92.30 %를 기록했으며, 이는 AR이 시야 내 객체와의 거리·각도 정보를 보다 자연스럽게 제공해 인지 부하를 감소시킨 결과로 해석할 수 있다.

하지만 연구에는 몇 가지 제한점이 있다. 표본 규모가 작고 연령대가 제한적이며, 단일 세션만 수행했기 때문에 장기 효과와 일반화 가능성을 평가하기 어렵다. 또한, 눈추적 정확도는 HMD마다 차이가 있을 수 있어 플랫폼 간 비교 시 하드웨어 편차가 결과에 영향을 미쳤을 가능성이 있다. 향후 연구에서는 다중 세션·다양한 연령층을 포함한 대규모 임상시험과, 눈추적 외에 생리적 지표(심박변이도, EEG)와의 통합 분석을 통해 훈련 효과를 다각도로 검증할 필요가 있다.