감정 적응형 가상현실 인지훈련

초록

이 논문은 얼굴 근전도(EMG) 기반 감정 인식을 활용해 실시간으로 난이도를 조절하는 가상현실(VR) 인지훈련 게임을 제안한다. DWT‑Haar와 kNN 분류기로 감정(가치·각성) 인식 정확도는 각각 64.1%와 76.2%를 기록했으며, 노인 대상 실험에서 적응형 설계가 학습 동기와 적절한 도전감을 향상시킴을 확인했다.

상세 분석

본 연구는 인지훈련(CT)의 두 핵심 문제, 즉 ‘참여도 저하’와 ‘일상 생활로의 전이 부족’에 대한 해결책을 제시한다. 첫 번째로, 게임화와 VR을 결합해 몰입감과 존재감을 높였으며, 슈퍼마켓·박물관이라는 일상적 환경을 가상으로 구현해 생태학적 타당성을 확보했다. 두 번째로, 얼굴 EMG 신호를 이용해 사용자의 정서 상태를 실시간으로 추정하고, 이를 난이도 조절(DDA)에 반영함으로써 사용자를 ‘플로우’ 상태에 가깝게 유지한다는 점이 독창적이다.

감정 인식 파이프라인은 원시 EMG 신호에 대해 이산 웨이블릿 변환(DWT‑Haar)으로 근사 계수를 추출하고, k-최근접 이웃(kNN) 분류기로 가치(valence)와 각성(arousal) 레이블을 예측한다. 가치 64.1%, 각성 76.2%라는 정확도는 기존 EMG 기반 감정 인식 연구와 비교해 보통 수준이지만, VR 환경에서 얼굴이 HMD에 가려지는 제약을 고려하면 실용적인 결과라 할 수 있다.

실험 설계는 두 가지 과제(작업 기억 WM 과제와 장면 기억 EM 과제)를 각각 난이도 3단계(쉬움·보통·어려움)로 구성하고, 45초마다 게임을 일시 정지해 슬라이더 UI로 사용자가 직접 감정 라벨을 입력하도록 했다. 이렇게 수집된 라벨은 감독 학습 데이터로 활용돼 실시간 감정 추정 모델을 학습한다. 난이도 조절은 감정(낮은 가치·높은 각성 → 난이도 감소, 높은 가치·적절한 각성 → 난이도 증가)와 성과(정답률, 반응 시간)를 복합적으로 고려한다.

노인 대상 대조군 연구에서는 적응형 그룹이 비적응형(고정 난이도) 그룹에 비해 자기 효능감, 몰입도, 과제 수행 정확도에서 유의미하게 높은 점수를 기록했다. 이는 감정 기반 DDA가 동기 부여와 적절한 도전 제공에 기여함을 시사한다.

한계점으로는 감정 인식 정확도가 아직 충분히 높지 않아 오탐/오인식이 난이도 조절에 영향을 줄 가능성이 있다. 또한 샘플 규모가 작고, 장기 효과를 검증하지 않았으며, EMG 전극 부착이 사용자에게 불편을 초래할 수 있다. 향후 연구에서는 더 정교한 딥러닝 기반 특징 추출, 멀티모달(심박수·피부전도) 융합, 그리고 장기 추적 실험을 통해 일반화 가능성을 검증할 필요가 있다.