3D 혈류 펄스 지도 데이터셋 Pulse3DFace 소개

초록

Pulse3DFace는 15명의 피험자를 23개의 시점에서 30 Hz RGB 영상으로 촬영하고, 구조‑from‑motion으로 얻은 3D 얼굴 스캔과 동시 측정된 접촉식 PPG 신호를 결합한 최초의 3D 혈류 펄스 지도 데이터셋이다. 각 픽셀에 대해 신호‑대‑잡음비(SNR), 진폭, 위상, 심박수 등을 추정해 FLAME 텍스처 공간에 매핑한다. 다중 시점·다중 조명 환경을 제공함으로써 기존 2D PPGI 연구의 조명 편향을 완화하고, 합성 아바타 생성·멀티뷰 기반 혈류 분석 등 새로운 연구 방향을 가능하게 한다.

상세 분석

본 논문은 원격 광용적맥파(PPGI) 분야에서 가장 큰 한계 중 하나인 “조명·시점 편향”과 “정량적 평가 지표 부재”를 동시에 해결하고자 한다. 이를 위해 저자들은 (1) 다중 시점·다중 조명 조건에서 촬영된 고해상도 RGB 영상 15명·23시점·30 Hz, (2) 동일 피험자에 대한 접촉식 PPG 레퍼런스, (3) 구조‑from‑motion(SfM) 기반의 3D 얼굴 스캔 및 FLAME 3DMM에 대한 정밀 피팅 결과를 하나의 패키지로 제공한다.

2D 펄스 지도 생성 단계에서는 기존 POS(Plane‑Orthogonal‑to‑Skin) 알고리즘을 활용해 전 얼굴 평균 신호를 레퍼런스로 만든 뒤, 20 s 길이의 7개 오버랩 구간을 슬라이딩 윈도우(k=3~17)로 분석한다. 각 윈도우에서 RGB 채널별 진폭·위상·SNR을 추정하고, 이를 평균화해 최종 2D 지도(M_SNR, M_p, M_a,c, M_HR 등)를 만든다. 특히, 위상은 FFT에서 HR_ref에 해당하는 주파수 성분의 위상 각을 사용하고, SNR은 HR 및 그 1차 고조파 주변의 파워를 대비해 로그 스케일로 정의한다.

3D 매핑 단계에서는 SfM으로 얻은 카메라 포즈와 텍스처 메쉬를 FLAME 모델에 정합시켜, 각 2D 지도 값을 FLAME 텍스처 좌표에 투사한다. 결과적으로 얼굴 전체와 목 부위에 걸친 고해상도 3D 펄스 지도(진폭, 위상, SNR)가 생성되며, 이는 FLAME 기반 아바타에 직접 적용 가능하다. 저자들은 특히 녹색 채널이 가장 높은 SNR을 보이며, 피부 마스크를 적용해 머리카락·경계 영역의 잡음을 억제한다는 점을 강조한다.

데이터셋 평가에서는 (i) 조명 조건별 SNR 분포, (ii) 동일 피험자·다중 시점 간 지도 일관성, (iii) 레퍼런스 PPG와의 상관관계 등을 정량화한다. 결과는 다중 시점이 조명 편향을 크게 완화하고, 3D 지도 간의 상관계수가 0.85 이상으로 높은 일관성을 보임을 보여준다. 또한, 목 부위에서 관찰된 위상 지연은 실제 혈류 전파 시간을 반영한다는 생리학적 해석을 제공한다.

이와 같이 Pulse3DFace는 (1) 3D 혈류 펄스 지도 생성 파이프라인을 공개하고, (2) 다중 시점·다중 조명 데이터를 통해 기존 2D PPGI 연구의 한계를 극복하며, (3) FLAME 기반 합성 아바타와 심층 학습 모델 훈련에 바로 활용 가능한 정량적 메트릭을 제공한다는 점에서 큰 의의를 가진다.