진정한 블라인드 얼굴 복원을 위한 얼굴 지향 확산 사전학습

초록

AuthFace는 8K 해상도의 고품질 인물 사진 1.5천 장을 기반으로, 텍스트‑투‑이미지 diffusion 모델을 얼굴 전용으로 미세조정하고, 시간 인식 잠재 얼굴 특징 손실을 도입해 눈·입 등 핵심 부위의 인공물 없이 사실적인 복원을 구현한다.

상세 분석

본 논문은 기존 텍스트‑투‑이미지(T2I) diffusion 모델이 일반 이미지 생성에 최적화돼 얼굴 세부 묘사에서 과도한 부드러움과 비인간적 요소를 생성하는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 저자들은 두 단계 학습 파이프라인을 설계하였다. 첫 번째 단계에서는 “품질‑우선” 원칙에 따라 8K 이상 해상도의 전문가 촬영 사진 1.5 K장을 수집하고, 사진가가 직접 검수·보정한 ‘사진‑가이드 주석’(조명, 표정, 피부 질감 등 세밀한 메타데이터)을 부여한다. 이러한 고품질·고정밀 데이터셋을 이용해 StableDiffusion‑XL(SDXL)을 기존 텍스트‑이미지 학습 방식과 동일하게 미세조정함으로써, 모델이 얼굴 전용 사전(prior)로 전환하도록 유도한다. 여기서 핵심은 단순한 의미 라벨이 아니라 사진‑전문가가 정의한 스타일·조명·피부 텍스처 태그를 텍스트 프롬프트에 포함시켜, 모델이 “하이퍼‑리얼리즘 포트레이트”와 같은 고급 표현을 학습하게 만든 점이다.

두 번째 단계에서는 복원용 ControlNet 어댑터를 도입한다. 기존 연구가 MSE 기반 손실만 사용해 눈·입 등 민감 부위의 디테일을 소실시키는 문제를 인식하고, 저자들은 ‘시간‑인식 잠재 얼굴 특징 손실(time‑aware latent facial feature loss)’을 제안한다. 이 손실은 diffusion 과정의 특정 타임스텝에서 latent space 상의 얼굴 영역을 강조해, 인간이 가장 민감하게 인식하는 부위(눈동자, 입술, 피부 결)를 정밀하게 보존한다. 또한, Stage I에서 미세조정된 UNet 파라미터를 고정하고, ControlNet만을 학습함으로써 사전 학습된 얼굴 사전이 손실되지 않도록 설계하였다.

실험 결과, AuthFace는 기존 CodeFormer, DiBIR, BFRfusion 등 최신 BFR 방법에 비해 합성 및 실제 저해상도 데이터셋에서 PSNR/SSIM뿐 아니라 LPIPS, 얼굴 인식 일관성(ID) 지표에서도 현저히 우수했다. 특히 눈·입 주변의 인공물 감소와 피부 질감 재현에서 눈에 띄는 개선을 보였으며, 사용자 설문에서도 “보다 자연스럽고 사실적인 복원”이라는 평가를 받았다.

이 논문은 (1) 고품질 사진 기반의 소규모 데이터셋이 대규모 일반 데이터보다 사전 학습에 더 효과적임을, (2) 사진‑가이드 주석이 텍스트‑이미지 모델의 얼굴 특화 능력을 크게 향상시킴을, (3) 시간‑인식 손실이 복원 과정에서 핵심 얼굴 부위의 디테일을 보호한다는 세 가지 핵심 인사이트를 제공한다. 향후 연구는 더 다양한 인종·연령·조명 조건을 포함한 데이터 확장과, 실시간 복원을 위한 경량화 모델 설계가 과제로 남는다.