저해상도 3D 토킹 헤드의 고품질 복원을 위한 3D 생성 프라이어 활용

초록

SuperHead는 저해상도 애니메이션 가능한 3D 헤드 아바타를 고해상도 기하와 텍스처로 업스케일링한다. 사전 학습된 3D GAN의 풍부한 프라이어를 이용해 다중 뷰와 깊이 정보를 동시에 감독하는 동적 3D 인버전 방식을 제안하고, 이를 3D Gaussian Splatting 형태로 구현한 뒤 FLAME 파라메트릭 모델에 리깅한다. 결과적으로 다양한 표정·포즈에서도 정체성을 유지하면서 시각적으로 뛰어난 아바타를 생성한다.

상세 분석

SuperHead는 기존 2D·비디오 기반 초해상도(SR) 기법이 동적 3D 입력에 적용될 때 발생하는 플리커링·뷰 불일치 문제를 근본적으로 해결한다는 점에서 혁신적이다. 핵심 아이디어는 두 단계로 구성된 ‘동적 3D 인버전’이다. 첫 단계에서는 사전 학습된 3D GAN(GSGAN) 모델의 잠재 공간(W⁺)을 최적화해 저해상도 아바타의 중립 표정에 대한 다중 뷰 렌더링을 고해상도 이미지와 깊이 지도와 일치시키며, 여기서 사용된 이미지 초해상도는 최신 2D SR 네트워크를 활용한다. 이 과정에서 픽셀 손실, LPIPS 퍼셉추얼 손실, 그리고 깊이 손실을 동시에 최소화함으로써 기하와 색상의 일관성을 확보한다.

두 번째 단계에서는 획득된 고해상도 3D GAN 결과물을 3D Gaussian Splatting(3DGS) 형태로 변환하고, FLAME 파라메트릭 모델에 리깅한다. 여기서 중요한 점은 저해상도 입력 모델의 기하적 왜곡을 보정하기 위해 FLAME의 전역 형태 파라미터(β)를 다중 뷰 랜드마크 정합을 통해 재추정한다는 것이다. 이렇게 얻은 정밀한 메쉬는 Gaussian 프리미티브와의 매핑 오류를 최소화하고, 이후 로컬 좌표계 변환을 통해 애니메이션 시에도 프리미티브가 정확히 따라 움직이게 만든다.

동적 3D 인버전의 마지막 단계는 ‘Dynamics‑aware 3D Refinement’이다. 중립 표정 외에도 다양한 표정·포즈·카메라 각도에서 샘플링된 앵커 이미지들을 초해상도로 변환한 뒤, 동일한 3D GAN 인버전 과정을 반복한다. 이때 모든 앵커 이미지에 대해 동일한 잠재 코드와 GAN 파라미터를 공유하면서도, 각 뷰·표정에 대한 렌더링 손실을 동시에 최적화한다. 결과적으로 모델은 ‘멀티‑뷰·멀티‑표정 일관성’을 학습하게 되며, 기존 3DGS가 불일치된 입력에 대해 평균화된 결과를 내는 현상을 방지한다.

기술적 강점은 다음과 같다. ① 사전 학습된 3D GAN이 제공하는 고해상도 디테일(예: 눈동자, 치아)과 3DGS의 실시간 렌더링 효율성을 결합한다. ② 이미지·깊이·퍼셉추얼 손실을 동시에 사용해 기하와 색상의 정밀한 정합을 달성한다. ③ FLAME 기반 형태 재추정으로 저해상도 입력의 구조적 오류를 보정하고, 리깅 단계에서 프리미티브와 메쉬의 정합성을 확보한다. ④ 다중 표정·포즈 앵커를 통한 동적 정제는 시간적 일관성을 보장하면서도 정체성 손실을 최소화한다.

실험에서는 NeRSemble, INSTA 등 공개 데이터셋에서 기존 3DGS, 2D/비디오 SR 기반 파이프라인, 그리고 최신 3D GAN 인버전 기반 방법들과 비교했을 때 PSNR/SSIM뿐 아니라 정성적 시각 품질에서도 현저히 우수함을 보였다. 특히 눈 깜빡임·입술 움직임 같은 고주파 디테일이 크게 개선되었으며, 실시간 렌더링 속도도 30~60 FPS 수준을 유지해 실용성을 입증했다. 한계점으로는 사전 학습된 3D GAN이 특정 인종·연령대에 편향될 수 있다는 점과, 매우 극단적인 조명·뒷배경 변화에 대한 강인성이 아직 충분히 검증되지 않았다는 점을 들 수 있다. 향후 연구에서는 보다 다양하고 균형 잡힌 3D GAN 데이터베이스 구축과, 조명·반사 모델을 통합한 조명‑인버전 기법을 탐색할 여지가 있다.