개인 맞춤 감정 인식을 위한 적응형 시간 동역학: 액체 신경망 접근법

초록

본 논문은 EEG와 주변 생리 신호, 성격 특성을 결합한 다중 모달 프레임워크를 제안한다. 액체 시간 상수(LTC)를 갖는 신경망(LNN)을 사용해 각 모달리티의 서로 다른 시간 스케일을 자동으로 학습하고, 주의 기반 자동인코더 융합으로 잠재 표현을 통합한다. PhyMER 데이터셋의 7가지 감정 클래스를 대상으로 한 피험자별 실험에서 95.45%의 정확도를 달성했으며, 시간 주의 분석을 통해 감정별 중요한 시간 구간을 해석한다.

상세 분석

본 연구는 감정 인식 분야에서 가장 큰 난제 중 하나인 비정상적·노이즈가 많은 생리 신호의 시간적 이질성을 해결하기 위해 ‘액체 신경망(Liquid Neural Network, LNN)’이라는 연속시간 모델을 도입한 점이 혁신적이다. 기존의 LSTM·GRU와 달리 LNN은 각 뉴런이 학습 가능한 시간 상수 τ를 갖고 있어, 입력 신호의 빠른 변동(EEG)과 느린 변동(EDA·BVP·온도) 모두에 최적화된 동적 응답을 스스로 조정한다. 논문에서는 τ가 빠른(‘fast’)와 느린(‘slow’) 두 그룹으로 자동 클러스터링되는 현상을 통계적으로 검증했으며, 이는 감정별·피험자별 메모리 요구사항이 다름을 의미한다.

다중 모달 처리 구조는 크게 세 부분으로 나뉜다. 첫째, EEG 전처리 파이프라인에서는 1–45 Hz 대역 필터링, FastICA 기반 아티팩트 제거, 파워 스펙트럼 밀도(PSD)와 차분 엔트로피(DE) 계산, 그리고 전두 알파 비대칭(FAA) 특성을 추출한다. 둘째, 주변 신호(EDA, BVP, 온도)에서는 심박 변동(HRV) 지표, EDA의 파시컬·톤식 성분 분해, 온도·HR의 통계량을 추출한다. 셋째, 각각의 모달리티 전용 서브네트워크(CNN 기반)에서 시공간 특징을 추출한 뒤, 공유 자동인코더(인코더‑디코더 구조)로 잠재 공간에 매핑한다. 자동인코더는 bottleneck에 L2 정규화와 재구성 손실의 annealing 스케줄을 적용해 모달리티 간 표현 붕괴를 방지하고, 각 모달리티가 보완적인 정보를 유지하도록 유도한다.

시간 주의 메커니즘은 LNN의 출력 시퀀스에 가중치를 부여해 감정별로 중요한 시간 구간을 강조한다. 시각화 결과, ‘공포’와 ‘놀람’ 같은 고각성 감정은 짧은 고주파 EEG 변동에 높은 주의 점수를 부여했으며, ‘슬픔’과 ‘기쁨’은 느린 자율 신경 반응(EDA·BVP)의 지속적인 패턴에 주의를 집중했다. 이러한 해석 가능성은 기존 블랙박스 모델과 차별화되는 강점이다.

성능 평가에서는 PhyMER 데이터셋(30명, 14채널 EEG, 4가지 주변 신호, 7감정 라벨)을 피험자별(Subject‑Dependent) 방식으로 10‑fold 교차 검증하였다. 제안 모델은 95.45% 정확도와 0.93 이상의 F1‑score를 기록했으며, 동일 데이터셋에서 기존 최고 성능(≈88%)을 크게 앞섰다. 또한 파라미터 수는 1.2 M으로, 전통적인 CNN‑RNN 조합(≈3 M)보다 60% 적어 실시간·엣지 디바이스 적용 가능성을 시사한다.

한계점으로는 피험자별 학습이 필요해 일반화된 크로스‑서브젝트 성능이 아직 검증되지 않았으며, 데이터 라벨링의 주관성(영상별 감정 동의율) 문제가 존재한다. 향후 연구에서는 도메인 적응 기법과 메타‑러닝을 결합해 피험자 간 전이 학습을 시도하고, 라벨 불확실성을 베이지안 프레임워크로 모델링할 계획이다.