셀카 영상으로 자동 3D 헤어 모델 생성

초록

본 논문은 스마트폰으로 촬영한 셀카 영상을 입력으로 받아, 얼굴과 3차원 헤어 스트랜드를 포함한 전체 머리 모델을 완전 자동으로 재구성하는 시스템을 제안한다. 기존 방법이 요구하던 고정된 다중 뷰와 수동 세그멘테이션을 없애고, 구조‑from‑모션, 자동 헤어 세그멘테이션·방향 추정, 3D 머리 형태 복원, 데이터베이스 기반 헤어 스트랜드 매칭·변형 과정을 통합한다. 정량·정성 실험 및 Mechanical Turk 평가에서 기존 4‑뷰·단일‑뷰 방식보다 우수한 정확도와 사용자 선호도를 입증하였다.

상세 분석

이 연구는 셀카 영상이라는 제한된 입력 조건에서도 고품질 3D 헤어 모델을 생성하기 위해 네 가지 핵심 모듈을 설계하였다. 첫 번째 모듈(A)에서는 영상 프레임마다 배경을 마스크하고, 구조‑from‑모션(SfM) 파이프라인을 이용해 카메라 포즈와 깊이 맵을 추정한다. 여기서 얻은 실루엣 마스크와 포즈 정보를 바탕으로 시각적 헐(visual hull)을 구축하고, 헐의 각 정점에 헤어 존재 확률을 할당해 고신뢰 영역을 구분한다. 두 번째 모듈(B)에서는 딥러닝 기반 헤어 세그멘테이션 네트워크와 헤어 방향 분류기를 각각 학습시켜, 모든 프레임에 대해 픽셀 단위 헤어 마스크와 방향 라벨을 자동으로 생성한다. 방향 라벨은 02π 범위의 8가지 구간으로 양자화되며, 이를 이용해 기존의 필터 기반 방법과 유사하게 2D 헤어 스트랜드를 추적한다. 세 번째 모듈(C)에서는 얼굴 영역을 추출하고, 3DMM(3D Morphable Model)을 적용해 정밀한 얼굴 형태와 텍스처를 복원한다. 얼굴 모델은 Basel Face Model을 기반으로 하며, 66개의 3D 랜드마크와 결합해 전체 머리 형태를 완성한다. 마지막 핵심 모듈(D)에서는 깊이 맵과 2D 스트랜드를 결합해 초기 3D 스트랜드를 생성하고, 이를 대규모 합성 헤어 데이터베이스와 매칭한다. 매칭 단계는 전역 변형(visual hull에 맞는 거친 메쉬 기반)과 지역 변형(각 스트랜드의 미세 조정) 두 단계로 이루어져, 입력 영상의 특성을 최대한 반영한다. 데이터베이스는 다양한 스타일·길이·텍스처를 포함하고 있어, 입력 영상이 전체 180°를 커버하지 못하더라도 고신뢰 영역을 기반으로 부족한 부분을 보완한다. 실험에서는 8개의 유명인 영상과 9개의 모바일 셀카 영상을 사용해 헤어 영역 교집합 비율이 평균 80%에 달했으며, 기존 4‑뷰 기반 방법(60%)보다 현저히 높은 정확도를 보였다. 또한 Mechanical Turk 설문에서 제안 시스템이 4‑뷰 방법보다 72.4%, 단일‑뷰 방법보다 90.8% 높은 선호도를 얻었다. 전체 파이프라인은 완전 자동화되어 사용자 개입 없이 510분 내에 결과물을 생성할 수 있다. 이와 같이 영상 기반 SfM, 딥러닝 세그멘테이션, 3DMM, 데이터베이스 매칭을 유기적으로 결합함으로써, 셀카 영상이라는 일상적인 입력에서도 실용적인 3D 헤어 모델링을 가능하게 한 것이 본 논문의 가장 큰 기여라 할 수 있다.