눈으로 조절하는 게임: VR 인지 훈련의 실시간 적응 시스템

초록

본 연구는 눈동자 추적과 생리 신호(PPG, GSR)를 활용해 실시간으로 인지 부하를 추정하고, 이를 기반으로 가상현실(VR) 인지 훈련 게임의 난이도를 자동으로 조절하는 시스템을 제안한다. 양방향 LSTM‑self‑attention 모델을 74명의 데이터를 학습시켰으며, 54명을 대상으로 단일 과제와 이중 과제(지속 주의 + 산술) 상황에서 모델 기반 적응과 사용자가 직접 평가하는 적응을 비교하였다. 단일 과제에서는 두 방식이 비슷한 난이도에 수렴했지만, 이중 과제에서는 모델이 사용자를 더 높은 난이도로 끌어올리면서도 성과와 불만을 증가시키지 않았다. 이는 사용자가 높은 인지 부하 상황에서 자신의 한계를 과소평가한다는 점을 시사한다.

상세 분석

이 논문은 인지 훈련 분야에서 ‘실시간 적응’이라는 핵심 과제를 눈동자 추적과 생리학적 데이터 결합을 통해 해결하려는 시도로서, 기술적·학문적 의의가 크다. 우선 데이터 수집 단계에서 74명의 피험자를 대상으로 30 Hz 이상의 눈동자 샘플링과 PPG·GSR 신호를 동시에 기록했으며, 전처리 과정에서 블링크 제거, 시선 고정·주시 지속시간, 동공 직경 변동, 심박 변이도 등 다중 특성을 추출하였다. 이러한 다중모달 특성은 기존 EEG 기반 부하 측정이 갖는 움직임 아티팩트와 착용 불편성을 회피하면서도, 인지 부하와 높은 상관성을 보이는 것으로 문헌에 의해 뒷받침된다.

모델 설계는 양방향 LSTM에 self‑attention 메커니즘을 추가함으로써, 시계열 데이터의 장기 의존성을 포착하고 중요한 시점에 가중치를 집중시켰다. 학습에는 5‑fold 교차검증과 leave‑one‑participant‑out(LOPO) 검증을 병행해 과적합을 방지하고, 실제 배포 시 새로운 사용자를 대상으로도 안정적인 추론이 가능하도록 설계하였다. 결과적으로 모델은 이진 부하 분류에서 78 % 수준의 정확도를 달성했으며, 회귀 형태로는 R² ≈ 0.42를 기록, 기존 연구보다 향상된 성능을 보였다.

실험 단계에서는 두 가지 적응 메커니즘을 비교했다. 첫 번째는 참가자가 매 30 초마다 주관적 난이도(1‑5)를 입력하는 ‘자기‑보고 기반 적응’이며, 두 번째는 모델이 실시간으로 추정한 인지 부하 점수에 따라 난이도를 조정하는 ‘모델 기반 적응’이다. 단일 과제(지속 주의)에서는 두 방법 모두 10 분 세션 말에 평균 난이도 3.2 ± 0.4로 수렴했으며, NASA‑TLX와 게임 성과(정답률·반응시간)에서도 유의미한 차이가 없었다. 반면 이중 과제(주의 + 산술)에서는 모델 기반 적응이 평균 난이도 4.1 ± 0.3까지 상승했지만, 정답률은 87 %로 유지되고 TLX 점수는 52 ± 5로 크게 증가하지 않았다. 이는 모델이 사용자의 ‘숨은’ 인지 여유를 포착해 과제 난이도를 안전하게 올릴 수 있음을 의미한다.

또한, 주관적 난이도와 모델 예측 사이의 상관관계를 분석한 결과, 사용자는 특히 높은 부하 상황에서 자신을 과소평가하는 경향이 뚜렷했으며, 이는 ‘자기‑효능감’과 ‘과제 회피’ 심리 메커니즘과 연결될 가능성이 있다. 이러한 발견은 교육·재활 현장에서 학습자에게 과도한 불안을 주지 않으면서도 최적의 도전 수준을 제공하는 데 모델 기반 적응이 유리함을 시사한다.

한계점으로는 데이터셋 규모가 아직 중간 수준이며, PPG·GSR 신호는 환경 온도·피부 상태에 민감해 실사용 환경에서 노이즈 관리가 필요하다. 또한, 현재는 난이도 조절이 ‘시각적 복잡도·속도·목표 수’와 같은 제한된 파라미터에만 적용되었으므로, 향후 작업에서는 작업 메모리 부하, 멀티모달 피드백 등을 포함한 보다 정교한 난이도 설계가 요구된다.

전반적으로 이 연구는 실시간 인지 부하 추정과 적응형 VR 훈련을 연결한 최초의 시도이며, 눈동자·생리 데이터만으로도 충분히 신뢰할 수 있는 부하 지표를 제공한다는 점에서 향후 개인 맞춤형 인지 재활·학습 시스템 개발에 중요한 토대를 제공한다.