NIR 얼굴 영상 기반 심박수 추정 및 운전자 모니터링

본 연구는 운전자 피로도 및 건강 상태를 비접촉식으로 모니터링하기 위해, 차량 내부에 장착된 근거리 적외선(NIR) 카메라로 촬영한 얼굴 영상을 이용해 심박수를 추정하는 새로운 rPPG 파이프라인을 제시한다. 기존의 영상 기반 심박수 측정은 조명 변화, 머리 움직임, 카메라 진동, 블러 등 다양한 잡음에 취약해 실제 주행 상황에서 신뢰할 수 있는 결과를 얻기 어렵다는 문제가 있었다. 이를 해결하고자 저자들은 영상 구간별 품질을 정량화하는 지표 Q를 도입하고, 품질이 높은 구간만을 선택해 최종 심박수를 계산하는 ‘품질 기반’ 접근법을 설계하였다. 논문은 다음과 같은 흐름으로 전개된다. 먼저, 운전자 모니터링 기술의 배경을 소개하고, 특히 원격 광혈류측정(rPPG)의 원리와 기존 연구들의 한계를 정리한다. rPPG는 피부 표면의 미세한 색상·광량 변화를 통해 혈류 펄스를 추정하는 기술로, 비접촉식이라는 장점이 있지만 외부 요인에 의해 신호가 쉽게 왜곡된다. 제안 시스템은 세 단계로 구성된다. ① 얼굴 검출 및 ROI 설정: Viola‑Jones 알고리즘으로 첫 프레임에서 얼굴을 검출하고, 좌측 볼 부위를 ROI로 선택한다. 이후 KLT 트래킹을 통해 프레임 간 ROI 위치를 지속적으로 업데이트한다. ② rPPG 신호 추출 및 전처리: 각 프레임의 ROI 평균 밝기값을 원시 rPPG 신호로 사용하고, 7 초 길이의 윈도우를 1 초 간격으로 슬라이딩한다. 각 윈도우는 다시 5·6·7 초 길이의 서브윈도우로 나뉘며, 각 서브윈도우에 대해 디트렌딩, 이동 평균(크기 3), 0.7‑3 Hz 밴드패스 필터링을 적용한다. ③ 품질 평가 및 구간 선택: 서브윈도우마다 신호‑대‑잡음비(SNR), 파워 스펙트럼 대역폭(BW), 피크 비율(RP) 세 가지 특징을 추출한다. 이 특징들을 결합해 품질 점수 Q를 계산하고, 동일 윈도우 내에서 Q가 가장 높은 서브윈도우를 최종 심박수 추정에 사용한다. 선택된 구간의 FFT 스펙트럼에서 최대 피크 주파수를 찾아 bpm 단위로 변환한다. 실험은 저자들이 자체 구축한 OMRON 데이터베이스를 활용했다. 데이터베이스는 8명의 남성 피험자를 대상으로, 차량 대시보드에 장착된 NIR 카메라(20 fps, 1280×720)와 손가락 클립 BVP 센서(500 Hz)를 동시에 기록한 것으로, 각 세션은 20 ~ 60분 길이이며, 피험자는 안경 착용 여부, 피부톤, 연령이 다양했다. BVP 센서에서 얻은 심박수를 기준값으로 삼아, 기본 rPPG 파이프라인과 제안 품질 기반 파이프라인의 성능을 비교하였다. 결과는 다음과 같다. 기본 방법은 평균 절대 오차(MAE) 8.76 %를 보였으나, 품질 기반 방법은 MAE 6.9 %로 약 20 % 이상의 상대적 정확도 향상을 달성했다. 특히 조명 급변이나 머리 회전이 심한 구간을 자동으로 배제함으로써, 전반적인 추정 안정성이 크게 개선되었다. 논문의 주요 기여는 (1) NIR 영상 이용으로 외부 조명에 강인한 rPPG 기반 심박수 추정, (2) 신호 품질을 정량화하는 Q 지표 설계 및 구간 선택 메커니즘, (3) 실제 주행 환경에서 20 % 이상의 정확도 향상을 입증한 실험적 검증이다. 한편, 현재는 단일 ROI와 경험적 특징에 의존하고 있어, 다양한 조명·속도 조건에서의 일반화와 다중 ROI·딥러닝 기반 품질 예측 모델 도입이 향후 연구 과제로 남는다.