비접촉 카메라 기반 발작 예측, 종간 전이 학습으로 인간과 쥐 영상 활용

초록

**
본 논문은 3~10초 길이의 전발작 영상만으로 5초 이내에 발작이 발생할지를 예측하는 새로운 비디오‑전용 과제를 정의한다. 인간 환자 영상이 부족한 문제를 해결하기 위해 대규모 쥐 영상으로 사전학습한 뒤, 소수의 인간 영상에 few‑shot 파인튜닝을 적용한다. VideoMAE 기반의 튜브 마스킹 자기지도 학습과 교차 종 전이 학습을 결합해 70% 이상의 정확도를 달성했으며, 기존 비디오 기반 모델들을 크게 능가한다.

**

상세 분석

**
이 연구는 기존 EEG 중심의 발작 예측 한계를 극복하고, 완전 비접촉식 영상만으로도 실시간 경고가 가능함을 입증한다. 핵심 기술은 VideoMAE(Video Masked AutoEncoder)를 이용한 자기지도 사전학습이다. 입력 영상을 3차원 패치(시간·공간)로 분할하고, ‘튜브 마스킹’ 전략으로 30%~90%의 패치를 무작위로 가려 모델이 남은 정보를 기반으로 마스크된 영역을 복원하도록 학습한다. 복원 손실은 MSE이며, 이 과정에서 움직임, 자세 변화, 근육 경직 등 발작 전후의 미세한 행동 패턴을 고차원 표현으로 압축한다.

사전학습 단계에서는 두 종류의 데이터셋을 혼합한다. 공개된 RodEpil(13,000개 10초 영상)에서 발작·비발작 쥐 영상을 약 6천 개 사용하고, 병원에서 수집한 인간 비발작 영상 1,870개를 추가한다. 이렇게 구성된 ‘cross‑species’ 데이터는 인간 영상이 부족한 상황에서도 모델이 발작 관련 동작을 일반화하도록 돕는다.

사전학습이 끝난 뒤, 디코더는 폐기하고 인코더 가중치를 그대로 사용한다. 인간 전발작 영상(3~10초)마다 CLS 토큰을 추출하고, 간단한 선형 분류 헤드(시그모이드)를 붙여 ‘발작 발생 여부’를 이진 예측한다. 파인튜닝은 2, 3, 4‑shot 설정으로 수행되며, 각 샷마다 지원 집합과 쿼리 집합을 완전히 분리해 과적합을 방지한다. 최적화는 Cross‑Entropy 손실과 16‑bit 혼합 정밀도, 그래디언트 체크포인팅을 적용해 메모리 효율성을 높였다.

실험 결과는 두 차원에서 의미 있다. 첫째, 5초 예측 창에서 평균 균형 정확도(bacc)가 0.71, ROC‑AUC가 0.75에 달해 기존 CSN, X3D, SlowFast 등 영상 인식 베이스라인을 크게 앞선다. 둘째, 마스크 비율이 0.5~0.7일 때 가장 높은 성능을 보이며, 이는 과도한 마스킹이 정보 손실을 초래하고, 너무 적은 마스킹은 모델이 단순 픽셀 보간에 머무르는 현상을 확인한다.

교차 종 전이 학습의 효과는 ablation 실험으로 명확히 드러난다. 인간 전용 사전학습(+H)만 사용했을 때는 bacc가 0.48 수준에 머물지만, 쥐 데이터(+Rodents)와 결합하면 0.71까지 상승한다. 또한, 발작 샘플이 포함된 쥐 데이터(Y)와 비발작 샘플(N)을 모두 활용했을 때 가장 좋은 결과를 얻으며, 이는 ‘정상·비정상’ 행동 양상의 균형이 중요한 역할을 함을 시사한다.

한계점으로는 인간 데이터가 6명에 불과해 실제 임상 적용 시 일반화 가능성이 검증되지 않았으며, 영상 품질·조명·카메라 각도 변화에 대한 강인성 평가가 부족하다. 또한, 5초 예측 창이 짧아 실제 치료 개입(약물 투여 등)에 충분한 시간을 제공하지 않을 수 있다. 향후 연구에서는 다기관·다인종 데이터 확대, 멀티모달(EEG·심박수·영상) 융합, 그리고 예측 창을 30초~1분 수준으로 연장하는 방향이 필요하다.

**