스마트폰 PPG와 열영상으로 20초 만에 스트레스 즉시 판별

초록

본 연구는 스마트폰 카메라 기반 PPG와 저가 열영상 카메라를 결합해 20초 짜리 초단기 측정만으로 정신적 스트레스를 자동 인식하는 시스템을 제안한다. 17명의 건강한 피험자를 대상으로 다양한 인지 과제 후 자가 보고된 VAS 점수를 라벨링하고, 저레벨 심혈관 변동 특성을 추출한 뒤 인공신경망으로 학습시켰다. 멀티모달(PPG + 열) 접근은 LOSO 교차검증에서 78.3%의 정확도를 달성했으며, 기존 장시간 측정 기반 방법과 견줄 만한 성능을 보였다.

상세 분석

이 논문은 스마트폰의 후면 RGB 카메라와 FLIR One 2G 열카메라를 동시에 활용해 혈류량맥(BVP)과 코끝 온도 변화를 실시간으로 기록한다. PPG 신호는 전통적인 평균 색상값 대신 R채널 이미지의 샤논 엔트로피 변화를 이용해 추출했으며, 이동 평균 차감으로 피크를 강조해 P‑P 간격을 정확히 측정한다. 열영상은 코끝 ROI의 온도 시계열을 추출하고, 호흡에 의한 주기성을 필터링해 혈관 수축·확장에 따른 순수 온도 변동을 얻는다. 두 신호 모두 신호 품질 지수(pSQI)를 계산했으며, PPG은 평균 0.755, 열영상은 필터링 전 0.714에서 0.157로 크게 개선되었다.

스트레스 라벨링은 10 cm VAS 점수를 정규화 K‑means 클러스터링으로 3~4개의 등급으로 변환해 개인 간 편차를 감소시켰다. 기존 HRV(LF/HF 비율 등)와 열 방향성 지표는 20 s 초단위 측정에서는 자기보고 점수와 낮은 상관관계를 보였으며, 이는 짧은 구간에서 전통적 고수준 특성이 충분히 스트레스를 반영하지 못함을 의미한다. 따라서 저레벨 특성(연속 P‑P 간격, 온도 변동 시퀀스)을 그대로 입력으로 사용하고, 다층 퍼셉트론 형태의 인공신경망이 자동으로 유용한 고수준 특징을 학습하도록 설계하였다.

실험 결과, 단일 PPG 기반 모델은 68.5%, 단일 열영상 기반 모델은 58.8%의 정확도를 보였으며, 두 모달리티를 결합한 모델은 78.3%로 크게 향상되었다. 이는 기존 2 분 이상 측정이 요구되는 방법과 비교해 비슷하거나 더 나은 성능을 짧은 측정 시간에 달성한 것이다. 또한 라벨링 전략(클러스터 수, 정규화 여부)의 변화가 모델 민감도에 미치는 영향을 분석해, 개인별 라벨 정규화가 정확도 향상에 핵심임을 확인하였다.

이 연구는 (1) 초단기 PPG와 열영상 신호의 전처리·품질 개선 방법, (2) 저레벨 변동 특성의 신경망 기반 자동 학습, (3) 멀티모달 결합이 스트레스 인식 정확도를 높이는 메커니즘을 제시함으로써, 실시간 모바일 정신건강 관리에 실용적인 기술적 토대를 제공한다.