비음성적 요소를 반영한 확산 기반 3D 얼굴 애니메이션 합성

초록

FaceDiffuser는 사전 학습된 HuBERT 음성 인코더와 확산 모델을 결합해, 동일한 음성 입력에 대해 다양한 3D 얼굴 애니메이션을 생성하는 비결정론적 프레임워크이다. 3D 정점 기반 메쉬와 블렌드쉐입(리깅) 두 종류의 데이터셋 모두에 적용 가능하며, 기존 최첨단 방법보다 객관적·주관적 지표에서 경쟁력을 보인다.

상세 분석

FaceDiffuser는 음성‑구동 3D 얼굴 애니메이션 분야에서 최초로 확산(denoising diffusion) 방식을 도입한 점이 가장 큰 혁신이다. 기존 연구들은 대부분 결정론적 CNN·Transformer 기반 모델을 사용해 동일한 오디오에 대해 항상 동일한 얼굴 움직임을 출력했으며, 이는 비언어적 표정(눈 깜빡임, 미세한 근육 움직임 등)의 자연스러운 변동성을 반영하지 못했다. 본 논문은 이러한 한계를 극복하기 위해 두 단계의 확산 과정을 설계한다. 첫 번째 단계에서는 정규분포 N(0,1)에서 샘플링한 노이즈를 정점 혹은 블렌드쉐입 시퀀스에 단계적으로 주입해 ‘노이즈된’ 시퀀스 x_t 를 만든다. 두 번째 단계에서는 역확산 네트워크가 음성 임베딩(HuBERT)과 현재 시점의 노이즈된 시퀀스 x_t 를 입력받아 원본 애니메이션 x_0 를 직접 예측하도록 학습한다. 여기서 핵심은 기존 확산 모델이 ‘노이즈’를 예측하도록 설계된 것과 달리, FaceDiffuser는 실제 애니메이션 데이터를 직접 복원하도록 목표함수(L2 손실)를 정의함으로써, 오디오와의 강한 조건부 연관성을 유지하면서도 초기 디노이징 단계부터 의미 있는 얼굴 움직임을 생성한다.

음성 인코더로 선택된 HuBERT는 대규모 비지도 음성 학습을 통해 얻은 풍부한 시간‑주파수 특징을 제공한다. 이를 통해 텍스트나 포네믹스와 같은 중간 표현 없이도 원시 오디오 파형을 바로 애니메이션에 매핑할 수 있다. 또한, 스타일 벡터 S(피험자 원-핫)와 노이즈 z를 추가 입력으로 사용함으로써 동일 음성에 대해 서로 다른 화자·표정 스타일을 자유롭게 조절한다.

데이터 측면에서 저자는 두 가지 파이프라인을 제시한다. V‑FaceDiffuser는 정점 좌표(V×3 차원)를 직접 예측하고, B‑FaceDiffuser는 리깅된 캐릭터의 블렌드쉐입 값(C 차원)을 출력한다. 블렌드쉐입 경우 중립 얼굴이 고정돼 있어 정점 기반 모델보다 차원 수가 현저히 낮으며, 이를 위해 별도의 Noise Encoder가 도입돼 고차원 노이즈를 저차원 잠재 공간으로 압축한다.

학습 과정은 시간 스텝 t를 무작위로 샘플링하고, 해당 t에 대한 노이즈 스케줄 β_t(선형 혹은 cosine)를 적용해 x_t 를 생성한다. 역확산 네트워크는 GRU 기반 시퀀스 디코더와 완전 연결층으로 구성돼, 각 프레임마다 정점 변위 혹은 블렌드쉐입 값을 출력한다. 손실은 예측값 ˆx와 정답 x 사이의 L2 차이와, 필요 시 정규화된 얼굴 형태 손실을 결합한다.

실험에서는 5개의 공개 3D 얼굴 데이터셋(예: VOCASET, BIWI 등)과 자체 구축한 블렌드쉐입 기반 데이터셋을 사용해 정량적 지표(L2, MPJPE, FVD 등)와 주관적 사용자 평가를 수행했다. 결과는 기존 최첨단 모델(V OCA, FaceFormer, FaceXHuBERT 등) 대비 동등하거나 우수한 성능을 보였으며, 특히 비언어적 표정 다양성 측면에서 큰 개선을 확인했다. Ablation study에서는 Noise Encoder의 존재 유무, 노이즈 예측 vs 직접 데이터 복원, 그리고 HuBERT vs 다른 음성 인코더의 영향을 분석해, 제안된 설계가 전반적인 품질 향상에 기여함을 입증했다.

한계점으로는 고해상도 메쉬(수십만 정점) 처리 시 메모리·연산 비용이 급증한다는 점, 그리고 현재는 단일 화자·감정 제어만 지원한다는 점을 들었다. 향후 연구에서는 멀티스피커·멀티감정 컨트롤, 실시간 추론 최적화, 그리고 텍스처·조명까지 포함한 완전 3D 렌더링 파이프라인으로 확장할 계획이다.

요약하면, FaceDiffuser는 확산 기반 비결정론적 프레임워크와 강력한 사전 학습 음성 인코더를 결합해, 3D 얼굴 애니메이션의 다양성과 현실성을 동시에 달성한 최초의 시도이며, 정점·블렌드쉐입 양쪽 파이프라인을 모두 지원함으로써 산업 현장의 다양한 파이프라인에 적용 가능한 범용 솔루션을 제공한다.