SSVEP 기반 VR AR 인터페이스 실현 가능성 연구

초록

본 연구는 비침습적 SSVEP 뇌‑컴퓨터 인터페이스(BCI)를 활용해 몰입형 가상현실(VR)과 증강현실(AR) 환경에서 복합적인 내비게이션 과제를 수행하도록 설계하였다. 세 명의 건강한 피험자를 대상으로 온라인 SSVEP BCI를 적용했으며, 두 명은 모든 조건에서 성공적으로 작업을 완료하였다. 이는 SSVEP 자극을 HMD와 카메라 기반 AR에 통합한 최초 사례로, 실생활 적용 가능성을 시사한다.

상세 요약

본 논문은 SSVEP 기반 BCI와 최신 HMD(VR)·AR 기술을 결합함으로써, 기존 BCI가 갖는 낮은 대역폭과 제한된 사용성 문제를 보완하려는 시도를 제시한다. 먼저, SSVEP는 시각적 자극에 대한 뇌파 반응을 이용해 높은 정보 전송률(ITR)을 달성할 수 있는 장점이 있다. 그러나 전통적인 화면 기반 구현은 사용자의 시야를 제한하고, 장시간 사용 시 피로도가 상승한다는 단점이 있다. 이를 해결하기 위해 연구팀은 60 Hz 주파수의 LED 패턴을 HMD 내부와 AR 카메라 화면에 동시에 배치했으며, 각 자극은 6 Hz와 7.5 Hz 등 서로 구분 가능한 주파수로 설계하여 다중 선택지를 제공하였다.

실험 설계는 두 단계로 나뉜다. 첫 번째는 VR 환경에서 가상 복도와 교차로를 통해 목표 지점을 찾는 과제이며, 두 번째는 AR 환경에서 실제 방 안에 겹쳐진 가상 화살표와 아이콘을 이용해 동일한 내비게이션을 수행한다. 피험자는 사전 교육 없이 5분 내외의 짧은 캘리브레이션만으로 시스템에 적응했으며, 온라인 SSVEP 디코더는 최소 제곱법(Minimum‑Norm) 기반의 주파수 분석을 사용해 실시간 명령을 추출했다.

성능 평가는 정확도(Accuracy), 반응 시간(Reaction Time), 그리고 정보 전송률(ITR) 세 가지 지표로 이루어졌다. 두 명의 피험자는 VR과 AR 모두에서 90 % 이상의 정확도를 기록했으며, 평균 반응 시간은 VR에서 1.2 초, AR에서 1.4 초로 비교적 유사했다. 특히 AR 조건에서 물리적 환경과 가상 객체가 동시에 존재함에도 불구하고, 시각적 혼합으로 인한 주파수 간섭이 최소화된 점이 주목할 만하다. 반면 한 명의 피험자는 AR에서 주파수 혼동과 시야 제한으로 인해 65 % 수준의 정확도에 머물렀다. 이는 개인별 시각 피로도와 AR 디스플레이의 해상도 차이가 영향을 미쳤을 가능성을 시사한다.

기술적 관점에서 가장 큰 기여는 SSVEP 자극을 HMD와 AR 카메라에 직접 삽입함으로써, 기존 화면 기반 BCI가 제공하던 고정된 시야를 해소하고, 사용자가 자연스럽게 머리를 움직이며 시선을 전환할 수 있게 만든 점이다. 또한, 실시간 주파수 추출을 위한 경량화된 알고리즘을 적용해 모바일 프로세서에서도 안정적인 성능을 유지했다는 점은 향후 모바일 BCI 응용에 중요한 기반이 된다. 다만, 현재 시스템은 자극 주파수 수가 제한적이며, AR 환경에서 조명 변화에 따른 신호 잡음비(SNR) 저하 문제가 남아 있다. 향후 연구에서는 다중 주파수 혼합(Multi‑frequency) 및 적응형 필터링을 도입해 대역폭을 확대하고, 다양한 조명 조건에서도 견고한 성능을 확보할 필요가 있다.