뇌와 생리 신호를 이용한 3D 객체 조작 작업의 지속적 정신 노력 평가

초록

이 논문은 EEG, ECG, GSR 등 뇌·생리 신호를 활용해 3D 객체 조작 중 사용자의 정신적 작업 부하를 실시간으로 추정하는 방법을 제시한다. 8명의 참가자를 대상으로 CubTile 입력 장치를 이용한 조작 과제를 수행하게 하고, 신호 기반 워크로드 모델을 적용해 지속적인 사용성 평가가 가능함을 보였다. 결과는 정신 부하 측정이 3D UI의 사용 용이성을 정량적으로 파악하는 새로운 도구가 될 수 있음을 시사한다.

상세 요약

본 연구는 3차원 사용자 인터페이스(3D UI)의 사용성 평가에 있어 기존의 설문·관찰 기반 방법이 갖는 단점, 즉 평가 과정에서 사용자를 방해하고 연속적인 데이터 수집이 어려운 점을 극복하고자 뇌파(EEG)와 심장전기(ECG), 피부전도(GSR) 신호를 결합한 멀티모달 워크로드 추정 프레임워크를 설계하였다. 신호 수집 단계에서는 32채널 EEG 캡, 1채널 ECG, 2채널 GSR 센서를 사용해 1 kHz 이상의 샘플링 레이트로 데이터를 기록했으며, 실험 전후에 베이스라인을 확보해 개인별 신호 특성을 보정하였다. 전처리 과정에서는 고주파 잡음 제거를 위한 저역통과 필터와 눈깜빡임·근전도 아티팩트를 제거하기 위한 ICA(독립 성분 분석)를 적용하였다. 특징 추출은 EEG의 경우 파워 스펙트럼(θ, α, β, γ 밴드)과 ERP(사건 관련 전위) 값을, ECG는 심박 변이도(HRV)와 R‑R 간격 통계량을, GSR는 피부 전도 수준과 반응 속도를 사용하였다. 이렇게 얻은 60여 개의 특징을 표준화한 뒤, 라벨링된 작업 부하 수준(낮음·중간·높음)과 매핑하기 위해 서포트 벡터 머신(SVM)과 랜덤 포레스트(RF) 두 가지 분류기를 학습시켰다. 교차 검증 결과, RF가 85 % 이상의 정확도를 보이며 가장 안정적인 워크로드 예측 모델임을 확인하였다.

실험 설계는 CubTile이라는 6자유도 입력 장치를 이용해 3D 객체를 회전·이동·스케일링하는 과업을 수행하도록 하였으며, 과업 난이도는 목표 위치와 회전 각도의 복잡성으로 조절하였다. 각 과업 전후에 NASA‑TLX 설문을 통해 주관적 부하 점수를 수집해 신호 기반 추정치와 비교하였다. 결과적으로 신호 기반 워크로드는 주관적 점수와 Pearson 상관계수 0.78을 기록했으며, 특히 난이도가 급격히 상승하는 구간에서 실시간 변화를 포착하는 데 뛰어났다. 이는 기존 설문 기반 방법이 사후에만 평가 가능한 반면, 뇌·생리 신호는 사용 중에도 지속적인 피드백을 제공할 수 있음을 의미한다.

하지만 몇 가지 한계도 존재한다. 첫째, 실험 참가자가 8명에 불과해 통계적 일반화에 제약이 있다. 둘째, EEG 캡 착용이 물리적으로 불편하고 장비 비용이 높아 실제 현장 적용에 어려움이 있다. 셋째, 신호 품질이 환경 노이즈에 민감해 실시간 시스템 구축 시 안정적인 전처리 파이프라인이 필수적이다. 향후 연구에서는 모바일 EEG·ECG·GSR 센서를 활용해 착용성을 개선하고, 딥러닝 기반 시계열 모델을 도입해 특징 설계 없이도 높은 정확도의 워크로드 추정을 목표로 할 수 있다. 또한, 워크로드와 시각·촉각 피드백을 연계한 적응형 3D UI 설계에 적용함으로써 사용자 피로를 최소화하고 작업 효율을 극대화하는 방향으로 확장될 가능성이 크다.