다중모달 감정 상태 인식을 위한 다중스케일 CNN과 생물학적 영감 의사결정 융합 모델

초록

본 논문은 EEG와 심박, 피부전도 등 주변 생리 신호를 동시에 활용하여 감정 상태를 분류하는 새로운 프레임워크를 제안한다. 다중스케일 CNN을 통해 각각의 모달리티에서 고·저 스케일 특징을 추출하고, 베이즈 최적 cue 통합 이론에 기반한 신뢰도 계산을 이용해 결정 수준에서 융합한다. DEAP와 AMIGOS 데이터셋에서 98.52%·99.89%의 높은 정확도를 달성하였다.

상세 분석

이 연구는 감정 인식 분야에서 아직 충분히 탐구되지 않은 다중모달 생리 신호 융합에 초점을 맞추었다. 먼저 원시 신호에 대해 베이스라인 보정과 10‑20 전극 배치를 9×9 2차원 매트릭스로 재구성하는 전처리를 수행한다. 이는 시간‑공간 정보를 동시에 보존하면서 CNN 입력으로 적합하게 만든다. 고스케일 CNN(HSCNN)은 EEG 전용으로 설계되었으며, 4개의 연속 샘플을 시간축으로, 3×3 전극 국소 패턴을 공간축으로 하는 3차원 커널(4×3×3)을 사용한다. 두 개의 컨볼루션‑풀링 블록 뒤에 1024‑256 차원의 완전 연결층을 두어 4개의 감정 클래스(저각‑저흥, 고각‑저흥, 저각‑고흥, 고각‑고흥) 확률을 출력한다. 저스케일 CNN(LSCNN)은 각 주변 신호(ECG, EMG, GSR 등)를 1차원 128 샘플 시퀀스로 입력받아 3×1 커널을 적용, 16·32개의 특징 맵을 추출한 뒤 256 차원의 피처 벡터로 변환한다. 두 네트워크 모두 ReLU와 dropout을 적용해 과적합을 방지한다.

핵심 융합 단계는 ‘생물학적 영감 의사결정 모델’이다. 기존의 다수결이나 단순 가중 평균과 달리, 각 클래스 라벨을 Russell의 2차원 정서 좌표(각성‑쾌감)상의 평균값으로 매핑하고 라벨 간 유클리드 거리를 계산한다. 각 모달리티별 CNN이 출력한 클래스 확률을 이용해, 라벨 i와 다른 라벨 j 사이의 거리 d_ij를 표준 정규분포의 확률밀도로 변환해 신뢰도 f(d_ij)= (1/√2π)·e^{−d_ij²/2} 를 구한다. 이렇게 얻은 신뢰도 행렬을 기반으로 가장 높은 신뢰도를 가진 모달리티의 예측을 최종 결정으로 채택하면서, 다른 모달리티의 정보는 보조적으로 유지한다. 이는 뇌의 다감각 통합 메커니즘을 수학적으로 모사한 것으로, 각 모달리티의 ‘정밀도(신뢰도)’가 클수록 최종 추정에 더 큰 가중치를 부여한다는 베이즈‑최적 cue 통합 이론과 일치한다.

실험에서는 공개된 DEAP와 AMIGOS 데이터셋을 사용했으며, 각각 4가지 감정 클래스로 라벨링하였다. 단일 모달리티(EEG만, 주변 신호만)에서는 평균 정확도가 8592% 수준이었으나, 제안된 융합 모델을 적용했을 때 DEAP에서 98.52%, AMIGOS에서 99.89%라는 거의 완벽에 가까운 성능을 기록하였다. 이는 기존 연구(예: 다중 레이어 자동인코더, 멀티모달 LSTM 등)에서 보고된 7095% 수준을 크게 상회한다.

하지만 몇 가지 한계도 존재한다. 첫째, 라벨 간 거리 계산이 정서 좌표의 평균값에 의존하므로, 라벨링 기준이 데이터셋마다 다를 경우 적용이 어려울 수 있다. 둘째, 각 모달리티별 CNN 구조가 고정되어 있어, 새로운 센서(예: 피부 온도) 추가 시 재설계가 필요하다. 셋째, Euclidean 거리 기반 신뢰도 함수가 가우시안 가정에 의존하므로, 실제 클래스 분포가 비대칭이거나 다중 피크를 가질 경우 정확도가 저하될 가능성이 있다. 마지막으로, 실시간 적용을 위한 연산량 평가가 부족한데, 특히 9×9 전극 매핑과 두 개의 CNN을 동시에 실행하는 비용이 모바일 환경에서 제한적일 수 있다.

전반적으로, 이 논문은 다중모달 감정 인식에서 ‘신뢰도 기반 결정 융합’이라는 새로운 패러다임을 제시하고, 베이즈 최적 통합 이론을 실용적인 딥러닝 파이프라인에 성공적으로 적용한 점이 큰 의의이다. 향후 연구에서는 라벨 간 거리 정의를 데이터‑드리븐 방식으로 확장하고, 경량화된 CNN 아키텍처와 동적 모달리티 선택 메커니즘을 도입해 실시간 시스템으로의 전환을 모색할 수 있다.