뇌파와 영상 융합으로 운전 주의와 위험 상황 평가

초록

**
본 논문은 12명의 피험자를 대상으로 EEG와 차량 카메라 영상을 동시에 수집하고, 사전 학습된 VGG‑16 및 VGG‑Face 모델을 이용해 각각의 모달리티에서 특징을 추출한다. 추출된 EEG 특징은 상호 정보와 PSD‑히트맵 기반으로 구성하고, 얼굴 특징은 49개 랜드마크와 딥러닝 특징을 결합한다. 이후 LSTM을 활용해 시간적 트렌드를 모델링하고, KITTI 데이터셋의 영상과 비교·융합하여 운전자의 주의 수준과 위험·비위험 상황을 분류한다. 실험 결과는 기존 시각 기반 벤치마크를 능가함을 보여준다.

**

상세 분석

**
이 연구는 운전자 상태 인식을 위해 저해상도 14채널 Emotiv EEG와 전면 카메라 영상을 동시에 활용한 점이 가장 큰 강점이다. 특히 EEG 데이터를 이미지 형태의 PSD‑히트맵으로 변환하고, 이를 ImageNet‑학습된 VGG‑16에 입력해 “off‑the‑shelf” 특징을 추출한 방법은 데이터 양이 부족한 상황에서도 딥러닝의 표현력을 활용할 수 있다는 점에서 혁신적이다. 상호 정보 기반의 조건부 엔트로피 특징을 91개의 쌍wise 피처로 계산한 것도 뇌 영역 간 상호작용을 정량화하려는 시도로, 전통적인 파워 스펙트럼만을 이용한 접근보다 뇌의 전반적 상태를 더 잘 포착할 가능성이 있다.

얼굴 특징 추출에서는 Haar‑Cascade 기반 얼굴 검출 후 Chehra 알고리즘으로 49개의 랜드마크를 얻고, 거리·각도 기반 30개의 기하학적 피처를 95번째 백분위와 표준편차와 함께 90차원으로 확장하였다. 또한 VGG‑Face를 이용해 4,096차원의 딥러닝 피처를 추출하고, 동일하게 통계량을 계산해 결합함으로써 전통적 AU 기반 접근과 딥러닝 기반 접근을 동시에 활용한다.

시간적 트렌드 모델링에 LSTM을 적용한 점도 주목할 만하다. 다중 시간 구간에서 추출된 VGG 피처를 PCA로 60차원으로 차원 축소한 뒤, 동일한 길이의 시퀀스로 LSTM에 입력함으로써 동적 변화를 학습한다. 다만, KITTI 영상의 길이가 가변적이어서 트렌드 모델을 위험·비위험 상황 검출에만 적용한 점은 데이터 전처리 단계에서 손실이 발생했을 가능성을 시사한다.

실험 설계는 12명의 피험자(대부분 20대)와 15개의 KITTI 비디오(14~105초)를 사용했으며, LSL을 통해 EEG, 영상, 시뮬레이터 입력을 동기화하였다. 그러나 피험자 수가 제한적이며, 연령·성별 다양성이 부족해 일반화에 한계가 있다. 또한 Emotiv EPOC는 채널 수와 신호 품질 면에서 임상용 고밀도 EEG에 비해 낮아, 미세한 인지 변화 탐지에 제약이 있을 수 있다.

성능 비교에서는 기존 연구(특히 KITTI 기반 위험 검출을 수행한 논문)보다 정확도·F1 점수가 향상된 것으로 보고했지만, 구체적인 수치와 통계적 유의성 검증이 부족하다. 또한 멀티모달 융합 전략이 단순 피처 연결(concatenation)인지, 가중치 학습을 통한 최적화인지 명확히 제시되지 않아 재현 가능성이 떨어진다.

전반적으로 이 논문은 제한된 EEG 데이터에서도 사전 학습된 CNN을 활용해 의미 있는 특징을 추출하고, 시각 정보와 결합함으로써 운전자 인지 상태와 위험 상황을 동시에 평가하려는 시도를 잘 보여준다. 향후 연구에서는 피험자 규모 확대, 고밀도 EEG 도입, 융합 모델의 정교화(예: attention‑based 멀티모달 네트워크) 등을 통해 실용성을 높일 필요가 있다.

**