입체 얼굴 생성에서 아이덴티티 누수 평가를 위한 새로운 메트릭과 프레임워크

초록

본 논문은 말소리 기반 얼굴 애니메이션에서 정체성 이미지가 입술 움직임에 미치는 ‘립 누수’를 체계적으로 탐지·정량화하는 평가 방법을 제안한다. 무음 입력, 오디오‑비일치, 오디오‑일치 세 가지 실험 설정과 LSE‑C·LSE‑D 기반의 립‑싱크 차이(LSD) 지표를 도입해 모델‑중립적으로 누수 정도를 측정한다. 또한 정체성 이미지 선택(현재 프레임 vs. 대체 프레임)이 누수에 미치는 영향을 분석한다.

상세 분석

이 논문은 기존 말소리‑구동 비디오 편집 방식이 정체성 유지용 레퍼런스 이미지를 활용하면서 발생할 수 있는 ‘립 누수’ 현상을 정량적으로 드러내는 데 초점을 맞춘다. 먼저 저자들은 립 누수가 표준 립‑싱크 정확도(LSE‑C, LSE‑D)와 시각 품질(SSIM, PSNR, FID) 지표만으로는 충분히 포착되지 않는다는 점을 지적한다. 이를 보완하기 위해 세 가지 실험 설정을 제안한다. ① Silent‑Input(SI)에서는 무음 오디오를 입력해 레퍼런스 이미지가 입술 형태를 얼마나 주도하는지 확인한다. ② Audio‑Matched(AM)는 기존 평가와 동일하게 정답 오디오와 매칭된 영상을 생성해 베이스라인을 제공한다. ③ Audio‑Mismatched(XM)에서는 무작위 비일치 오디오를 사용해 레퍼런스 이미지가 오디오와 무관하게 입술을 움직이는 정도를 측정한다.

이 세 설정을 바탕으로 네 가지 메트릭을 정의한다. Silent LSE‑C(LSE‑C S)와 Silent LSE‑D(LSE‑D S)는 무음 입력 영상에 대해 원본 오디오와 비교해 립‑싱크 오류를 측정한다. Lip‑Sync Discrepancy with Current Reference(LSD‑CR)와 with Alternative Reference(LSD‑AR)는 AM과 XM 설정에서 각각 LSE‑C와 LSE‑D의 차이를 평균화한 값으로, 차이가 클수록 레퍼런스 이미지에 의한 누수가 심함을 의미한다. 이러한 메트릭은 모델‑중립적이며, 기존 지표와 결합해 누수와 시각 품질 사이의 트레이드오프를 명확히 드러낸다.

실험에서는 LRS2 데이터셋을 사용해 6개의 최신 모델(Wav2Lip, TalkLip, IPLAP, AVTFG, PLGAN, Diff2Lip)을 평가한다. 결과는 특히 TalkLip과 AVTFG가 현재 프레임을 레퍼런스로 사용할 때 무음 입력에서도 높은 LSE‑C 점수를 보이며, 레퍼런스 이미지가 입술 움직임을 강하게 주도함을 확인한다. 반면 대체 레퍼런스(첫 프레임 또는 다중 프레임)를 사용하면 이러한 현상이 크게 완화된다. Diff2Lip은 다중 레퍼런스 전략 덕분에 XM 설정에서도 비교적 안정적인 립‑싱크를 유지한다. 또한 시각 품질과 정체성 보존(CSIM) 지표는 레퍼런스 선택에 따라 크게 변동하며, 이는 실제 응용에서 레퍼런스 설계가 얼마나 중요한지를 시사한다.

이 논문의 가장 큰 기여는 ‘립 누수’를 정량화하는 메트릭을 제시하고, 이를 통해 기존 평가 프로토콜이 놓칠 수 있는 모델의 약점을 드러낸 점이다. 제안된 프레임워크는 모델 구조에 종속되지 않으며, 향후 새로운 말소리‑구동 얼굴 생성 모델을 공정하게 비교·검증하는 표준 벤치마크로 활용될 수 있다.