음악 감상 중 EEG 기반 연속 감정 인식: 퍼지 병렬 캐스케이드 모델

초록

본 논문은 청취 중인 음악의 시간‑변화 스펙트럼 정보를 이용해 뇌파(EEG) 신호로부터 연속적인 감정 평가(Valence·Arousal)를 예측하는 퍼지 병렬 캐스케이드(FPC) 모델을 제안한다. 15명의 피험자가 7개의 음악 조각을 들으며 기록한 EEG와 실시간 감정 라벨을 사용했으며, FPC 모델은 동일 데이터에 대해 선형 회귀(LR), 서포트 벡터 회귀(SVR), LSTM‑RNN과 비교했을 때 RMSE가 모두 낮았다. 특히 Valence 예측에서 0.089의 최저 오차를 기록하였다. 전두부 θ대역 EEG와 Valence 간의 상호정보량 분석을 통해 전두부 채널의 중요성을 확인했으며, 음악의 동적 특성을 반영한 연속 예측이 기존의 정적 라벨 분류보다 유용함을 시사한다.

상세 분석

본 연구는 감정 인식 분야에서 ‘연속적’ 감정 추정이라는 비교적 새로운 접근을 시도한다는 점에서 학술적·실용적 의미가 크다. 기존 다수 연구가 정적인 감정 라벨(예: 행복/슬픔) 혹은 짧은 구간의 평균값을 목표로 했던 반면, 이 논문은 음악 청취 동안 피험자가 실시간으로 제공한 연속적인 Valence·Arousal 값을 목표 변수로 설정하였다. 이를 위해 15명의 피험자에게 7개의 서로 다른 음악 조각(각 조각은 감정적 변동을 포함하도록 선정) 청취 중 64채널 EEG를 256 Hz로 수집하고, 동시에 2차원 감정 평면상의 연속적인 마우스 커서 위치를 기록하였다.

데이터 전처리 단계에서는 고전적 필터링(0.5–45 Hz)과 ICA 기반 아티팩트 제거를 수행했으며, 각 채널을 2 s 윈도우(50 % 오버랩)로 세분화해 파워 스펙트럼을 추출했다. 특히 θ(4–8 Hz), α(8–13 Hz), β(13–30 Hz) 대역을 중심으로 전두부(Fp1, Fp2, F3, F4)와 중앙부(Cz) 채널을 선택, 이는 기존 연구에서 감정과 가장 높은 상관성을 보인 영역이다.

FPC 모델은 ‘병렬 캐스케이드’ 구조를 채택한다. 각 캐스케이드는 독립적인 퍼지 로직 서브시스템으로 구성되며, 입력 변수(EEG 파워)와 출력 변수(Valence·Arousal) 사이의 비선형 관계를 멤버십 함수와 규칙 기반으로 모델링한다. 병렬 구조는 서로 다른 주파수 대역·채널 조합을 동시에 처리하도록 설계돼, 각 서브시스템이 개별적으로 학습된 후 가중 평균을 통해 최종 예측값을 산출한다. 퍼지 규칙은 전문가 지식과 데이터 기반 클러스터링(FCM)으로 초기화하고, 하이브리드 최적화(유전 알고리즘+그라디언트)로 파라미터 튜닝을 진행했다. 이러한 설계는 전통적인 선형 모델이 포착하기 어려운 복합 비선형·시간 의존성을 효과적으로 반영한다는 장점이 있다.

비교 모델로는 LR, SVR(RBF 커널), 그리고 시계열 특성을 반영한 LSTM‑RNN을 사용했다. LR은 입력 변수와 출력 사이의 선형 관계만을 가정하므로 복잡한 뇌‑감정 매핑을 충분히 설명하지 못한다. SVR은 비선형 커널을 통해 어느 정도 개선되지만, 하이퍼파라미터 튜닝과 스케일링에 민감하다. LSTM‑RNN은 시간적 의존성을 모델링하지만, 학습 데이터가 제한적(피험자 15명, 각 7곡)인 상황에서는 과적합 위험이 크고, 최적화 과정이 복잡해 실시간 적용이 어려울 수 있다.

실험 결과는 RMSE 기준에서 FPC가 모든 음악 조각·감정 차원에서 우수함을 보여준다. Valence 예측에서 가장 낮은 RMSE 0.089는 MS4(특정 감정 변동이 큰 곡)에서 기록됐으며, Arousal에서도 평균 RMSE 0.112(최저 0.098)로 기존 모델들을 크게 앞섰다. 통계적 유의성 검증(반복 측정 ANOVA) 결과, FPC와 다른 모델 간 차이는 p < 0.01 수준으로 유의하였다.

또한 전두부 θ대역 EEG와 Valence 사이의 상호정보량(MI) 분석을 통해, 전두부 채널이 감정 가치 평가와 가장 높은 정보 공유를 보임을 확인했다. 이는 전두엽이 감정의 평가·조절에 관여한다는 신경과학적 근거와 일치한다.

한계점으로는 피험자 수와 음악 다양성이 제한적이며, 감정 라벨이 주관적 마우스 커서 입력에 의존한다는 점을 들 수 있다. 또한 퍼지 규칙 설계에 전문가 지식이 개입되었기 때문에, 다른 문화권·연령대에 대한 일반화 가능성을 검증해야 한다. 향후 연구에서는 더 큰 규모의 다문화 데이터셋, 실시간 피드백 기반 적응형 퍼지 규칙, 그리고 뇌-음악 상호작용을 고려한 멀티모달(EEG+생리·영상) 모델을 탐색할 필요가 있다.