얼굴 알베도 모델을 위한 새로운 라이트스테이지 캡처와 통계적 분석

초록

본 논문은 라이트스테이지 기반의 촬영 파이프라인을 제안하여, 조명·카메라·기하학 영향을 완전히 제거한 확산·반사 알베도 맵을 획득한다. 50명의 자체 데이터와 공개 3DRFE 데이터(23명)를 결합해 최초의 통계적 얼굴 알베도 모델을 구축하고, 이를 기존 Basel Face Model(BFM)·FLAME 텍스처를 대체할 수 있도록 공개한다. 모델은 선형 sRGB 공간에 보정되어 역렌더링에 적합하며, 스펙큘러 알베도까지 포함한 최초의 3DMM 피팅 실험에서 BFM보다 우수한 재구성 품질을 보인다.

상세 분석

이 연구는 두 가지 주요 분야—포토메트릭 얼굴 캡처와 3D Morphable Model(3DMM) 텍스처 통계 모델링—를 효과적으로 융합한다는 점에서 혁신적이다. 기존 3DMM은 ‘텍스처’가 실제 조명·그림자·스펙큘러가 섞인 상태로 제공돼, 역렌더링 시 조명-알베도 불확실성을 크게 증가시켰다. 저자들은 라이트스테이지에 편광된 LED와 고속 전자식 편광 필터를 장착한 단일 포토메트릭 카메라를 사용해, 평행(para)·수직(perp) 편광 이미지 쌍을 빠르게 촬영한다. 두 이미지의 차분은 순수 스펙큘러 반사만을 남기고, 평균은 확산 알베도를 제공한다.

핵심 기술은 (1) 다중 뷰 스테레오를 이용한 기하학 복원, (2) 베이스 메쉬에 BFM 2017 템플릿을 가우시안 프로세스 기반으로 정밀 워핑, (3) 각 뷰별 가시성·법선·해상도 기반 가중치를 이용한 Poisson 블렌딩으로 알베도 맵을 무시각적으로 결합하는 것이다. 특히, 삼각형별 가중치와 선택 행렬을 정의해 가장 신뢰도 높은 뷰만을 선택하고, 나머지는 제로 그라디언트로 처리함으로써 경계에서의 블렌딩 아티팩트를 최소화한다.

스펙큘러 알베도에 대한 통계적 모델링은 기존 연구가 거의 없던 영역이다. 50명의 고해상도 알베도와 23명의 3DRFE 데이터를 합쳐 73명의 표본을 확보했으며, 이는 현재 공개된 알베도 데이터셋 중 가장 규모가 크다. 주성분 분석(PCA) 결과, 확산 알베도는 피부톤·색소 분포와 강하게 연관된 저주파 성분이 주를 이루는 반면, 스펙큘러 알베도는 눈, 입술 주변의 미세한 하이라이트 패턴이 고주파 성분으로 나타난다. 이러한 차이를 모델에 명시적으로 포함함으로써, 기존 BFM이 제공하던 ‘텍스처’보다 실제 물리적 반사 특성을 더 정확히 재현한다.

또한, 색 보정 단계에서 LED 스펙트럼과 카메라 감도 데이터를 이용해 선형 sRGB 변환 행렬을 직접 측정·적용했다. 이는 일반적인 sRGB 이미지와 달리, 실제 물리적 색 공간에 근접한 알베도 값을 제공해, 일반 DSLR 사진을 입력으로 하는 역렌더링 파이프라인에 바로 활용 가능하게 만든다.

실험에서는 최신 분석‑by‑synthesis 3DMM 피팅 프레임워크에 제안된 알베도 모델을 삽입하고, 스펙큘러 맵을 동시에 추정하도록 확장했다. 정량적 평가에서 기존 BFM 기반 파이프라인 대비 알베도 재구성 오류가 평균 12% 감소했으며, 시각적으로도 피부 광택과 하이라이트가 더 자연스럽게 재현되었다. 이는 알베도와 조명 분리의 근본적인 한계를 극복한 결과라 할 수 있다.

마지막으로, 저자들은 모델을 오픈소스로 공개하고, 선형 sRGB 기반의 색 보정 파이프라인을 상세히 문서화함으로써, 향후 연구자들이 쉽게 재현·확장할 수 있도록 배려했다. 이는 데이터·모델 공유 문화가 아직 부족한 얼굴 재현 분야에 큰 기여가 될 것이다.