감정 가치 분류를 위한 뇌·신경 다중모달 접근

초록

본 연구는 24명의 피험자를 대상으로 EEG, ECG 및 손목 피부 온도 데이터를 수집해 감정의 가치(Valence) 구분 모델을 구축하였다. 각 모달리티별 특징을 추출·선택한 뒤 개별 및 융합 분류를 수행했으며, EEG만을 이용한 분류가 가장 높은 정확도를 보였다. 다중모달 결합은 성별에 따른 생리적 차이는 확인했지만, 전반적인 성능 향상에는 기여하지 못했다.

상세 분석

본 논문은 감정 인식 연구에서 심리학적 이론과 공학적 구현 사이의 간극을 메우고자, 중앙신경계(CNS)와 자율신경계(ANS)의 신호를 동시에 분석하였다. 실험은 24명(남성 16명, 여성 8명)의 대학생을 대상으로 진행되었으며, 각 피험자는 긍정·부정 감정을 유발하는 14개의 비디오(길이 43~78 초)를 시청하였다. 비디오 시청 전후 30 초의 검은 화면을 베이스라인으로 사용해 감정 변화를 안정적으로 측정하였다.

EEG는 64채널 Ag‑AgCl 전극 캡(10/10 시스템)으로 1 kHz 샘플링, 0.5–45 Hz 대역통과 필터링 후 공통 평균 기준(CAR)으로 재참조하였다. ICA 기반 독립성분 분석으로 눈깜빡임·근전도·심전도 아티팩트를 시각적으로 검토해 제거하였다. 이후 알파, 베타1·베타2, 감마 대역의 전력값을 전두·중심·두정·후두 부위에서 추출했으며, 좌·우 반구 비대칭 지수(AI)를 계산해 감정별 차이를 Mann‑Whitney 검정으로 검증하였다.

ECG는 리드 II 배치로 1 kHz 수집 후 256 Hz로 다운샘플링하였다. 5명의 데이터는 품질 문제로 제외하고, 나머지 19명에 대해 HRV 분석을 수행하였다. 시간 영역 변수(Mean RR, SDNN, RMSSD, NN50, pNN50)와 주파수 영역 변수(VLF, LF, HF, LF/HF) 및 비선형 Poincaré 지표(SD1, SD2, SD1/SD2)를 추출했다. 모든 변수는 z‑스코어 정규화 후 비정규성을 확인하고, 감정별 차이는 Mann‑Whitney 검정으로 평가하였다.

피부 온도는 오른쪽 손목에 부착한 ActTrust 팔찌로 측정했으며, 28 초 구간(비디오 길이와 동일)으로 세분화하였다. 이상값(3 MAD 초과)은 평균값으로 대체하고, 비정규성을 검증한 뒤 감정별 평균 차이를 비교하였다.

특징 선택은 시뮬레이티드 어닐링 최적화와 K‑Nearest Neighbors(5‑neighbors) 및 Quadratic Discriminant Analysis(QDA) 분류기를 이용한 SI(Subject‑Independent) 접근법으로 수행하였다. EEG 단독 분류는 평균 정확도 78 % 이상을 기록했으며, HRV와 피부 온도만을 사용한 경우 각각 62 %·58 % 수준에 그쳤다. 다중모달(EEG + HRV + 온도) 결합은 오히려 정확도가 2~3 % 감소하는 결과를 보였다.

성별 분석에서는 남성·여성 간에 EEG 비대칭 패턴에서는 유의한 차이가 없었지만, HRV와 피부 온도에서는 여성에서 부정적 자극 시 교감·부교감 균형(LF/HF)과 체온 감소가 더 뚜렷하게 나타났다. 이는 생리적 반응이 성별에 따라 다르게 조절될 수 있음을 시사한다.

결론적으로, 가치(Valence) 차별에 있어 CNS 신호인 EEG가 가장 강력한 지표이며, ANS 신호는 보조적인 역할에 머무른다. 다중모달 융합이 기대한 시너지 효과를 내지 못한 이유는 각 모달리티의 시간·주파수 해상도 차이와 피처 간 상관관계가 낮아 정보 중복이 충분히 발생하지 않았기 때문으로 해석된다. 또한, 실험 설계(짧은 영상, 제한된 피험자 수)와 데이터 전처리(아티팩트 제거의 주관성) 등이 결과 일반화에 제약을 가한다. 향후 연구에서는 더 다양한 감정 차원(예: 각성)과 장시간 연속 측정, 그리고 딥러닝 기반의 자동 특징 학습을 도입해 멀티센서 융합의 잠재력을 재검증할 필요가 있다.