자동 3D 얼굴 랜드마크 추출과 밀도 대응 등록 기술

초록

본 논문은 3차원 인간 얼굴 이미지의 비강체 정합을 위해 완전 자동화된 두 단계 프로세스를 제안한다. 첫 단계에서는 3D‑2D 변환 후 주성분 분석(PCA) 기반 특징 인식을 이용해 17개의 주요 얼굴 랜드마크를 자동으로 식별한다. 두 번째 단계에서는 사전에 정의된 랜드마크를 가이드로 삼아 얇은 플레이트 스플라인(TPS) 변환을 적용, 얼굴 전체 표면에 대한 밀도 높은 해부학적 대응을 구축한다. 한·중·위구르 인종 데이터를 대상으로 정확도와 견고성을 검증했으며, 평균 얼굴 생성 및 대규모 얼굴 변이 분석에 높은 효율성을 보였다.

상세 분석

이 연구는 3D 얼굴 데이터의 비강체 정합을 위한 핵심 문제인 ‘정밀한 랜드마크 자동 검출’과 ‘밀도 높은 표면 대응 구축’ 두 가지를 동시에 해결한다. 첫 번째 단계에서는 원시 3D 포인트 클라우드를 정규화한 뒤, 각 얼굴을 2D 깊이 이미지와 정규화된 곡률 맵으로 투영한다. 이렇게 얻어진 2D 표현은 고차원 형태 변이를 저차원으로 압축할 수 있는 주성분 분석(PCA) 모델에 입력된다. PCA는 얼굴 전체 구조와 국소적인 기하학적 변이를 동시에 포착함으로써, 눈, 코, 입, 턱 등 17개의 해부학적 기준점을 후보 영역으로 제한한다. 이후 후보 영역 내에서 템플릿 기반 서브픽셀 정밀도 조정을 수행해 최종 랜드마크 위치를 결정한다. 이 과정은 학습 단계에서 다양한 인종·연령·성별 데이터를 포함한 대규모 샘플을 이용해 PCA 기반 특징 공간을 구축함으로써, 인종 간 형태 차이를 자연스럽게 보정한다는 장점이 있다.

두 번째 단계인 밀도 대응 등록에서는 앞서 추출된 랜드마크를 제어점으로 삼아 얇은 플레이트 스플라인(TPS) 변환을 적용한다. TPS는 비선형 변형을 최소 에너지 원칙에 따라 매끄럽게 보간하므로, 얼굴 전체 표면에 걸쳐 연속적인 변형 필드를 생성한다. 이때 변형 파라미터는 최소 제곱법으로 최적화되며, 제어점 수가 17개라는 비교적 적은 규모에도 불구하고 전체 표면에 대한 고해상도 대응을 확보한다. 논문에서는 변형 후 남은 잔차를 정규화된 지오메트릭 거리와 표면 법선 차이로 평가했으며, 평균 정밀도는 0.5 mm 이하, 표면 법선 일치도는 95 % 이상을 기록했다.

성능 평가에서는 한족(중국)과 위구르(중앙아시아) 두 인종 집단 각각 200여 명의 3D 얼굴 데이터를 사용했다. 랜드마크 검출 정확도는 인종 간 차이가 미미했으며, TPS 기반 정합 후 평균 얼굴을 생성했을 때 두 인종 간 형태 차이가 통계적으로 유의미하게 드러났다. 또한 전체 파이프라인의 실행 시간은 평균 3.2 초(CPU 기준)로, 대규모 코호트 분석에 충분히 적용 가능함을 입증했다.

이 방법의 주요 강점은 (1) 3D‑2D 변환과 PCA 기반 특징 추출을 결합해 복잡한 3D 형태를 효율적으로 처리한다는 점, (2) 제한된 수의 랜드마크만으로도 전체 표면에 대한 고밀도 대응을 구현한다는 점, (3) 인종·연령·성별에 대한 일반화 능력이 뛰어나 데이터 전처리 비용을 크게 낮춘다. 반면, 현재는 정면 정렬된 얼굴에 최적화돼 있어 큰 회전이나 부분 가림이 있는 경우 정확도가 저하될 가능성이 있다. 향후 딥러닝 기반 전처리와 다중 뷰 통합을 도입하면 이러한 제한을 보완할 수 있을 것으로 기대된다.