LPIPS‑AttnWav2Lip: 자연스러운 입동기와 고품질 영상 생성 기술

초록

**
본 논문은 오디오와 시각 정보를 효율적으로 융합하여 화자에 구애받지 않는 고품질 입동기 영상을 생성하는 LPIPS‑AttnWav2Lip 모델을 제안한다. U‑Net 기반 구조에 Residual CBAM과 Fast Fourier Convolution(FFC) 모듈을 도입해 시공간적 특징을 강화하고, AdaIN을 이용해 오디오 잠재벡터와 시각 특징의 통계적 정렬을 수행한다. 또한, LPIPS 손실을 사용해 GAN 훈련의 불안정성을 완화하고 인간 지각에 가까운 이미지 품질을 확보한다. 실험 결과, 기존 방법 대비 입동기 정확도(LSE‑C, LSE‑D)와 시각 품질(FID)에서 우수함을 입증한다.

**

상세 분석

**
LPIPS‑AttnWav2Lip은 기존 Wav2Lip·AttnWav2Lip이 가지고 있던 “오디오 정보가 디코더 깊이에 따라 점점 희석되는” 문제를 근본적으로 해결한다. 핵심 설계는 세 가지로 요약할 수 있다. 첫째, Encoder‑Decoder 구조에 Residual CBAM(Convolutional Block Attention Module)을 삽입해 채널·공간 차원에서 중요한 립 영역을 강조한다. CBAM은 두 단계의 attention(채널‑Attention → 공간‑Attention)을 거치며, residual 연결을 통해 그래디언트 흐름을 방해하지 않으면서도 특징 강조 효과를 극대화한다. 둘째, Semantic Alignment Module은 Fast Fourier Convolution(FFC) 레이어와 Adaptive Instance Normalization(AdaIN)으로 구성된다. FFC는 로컬(standard convolution)과 글로벌(FFT 기반) 정보를 병렬 처리해 receptive field를 크게 확장하고, 전역 컨텍스트를 효과적으로 포착한다. AdaIN은 오디오 잠재벡터를 스케일·시프트 파라미터로 사용해 시각 특징의 평균·분산을 조정함으로써, 오디오 내용과 시각 텍스처 간의 통계적 일치를 강제한다. 이 과정은 별도의 파라미터 증가 없이 구현 가능하다. 셋째, 손실 함수에서 기존의 adversarial loss를 LPIPS(Learned Perceptual Image Patch Similarity) loss로 대체한다. LPIPS는 인간 시각 시스템이 인식하는 퍼셉트럴 차이를 학습 목표로 삼아, 픽셀 단위 L1/L2 손실보다 더 의미 있는 이미지 품질 향상을 유도한다. 특히, GAN 훈련 시 발생하는 gradient vanishing·explosion 문제를 완화하고, 훈련 안정성을 크게 높인다. 전체 파이프라인은 (1) 마스크된 하반부 얼굴 이미지와 랜덤 레퍼런스 프레임을 채널 차원에서 결합, (2) MFCC 기반 오디오 인코더가 생성한 잠재벡터와 시각 특징을 Semantic Alignment Module을 통해 융합, (3) 디코더가 최종 프레임을 복원하는 순서로 진행된다. 실험에서는 LSE‑C/LSE‑D(입동기 정확도)와 FID(시각 품질) 지표에서 기존 SOTA인 Wav2Lip·AttnWav2Lip을 크게 앞선 결과를 보였으며, 주관적 평가에서도 “자연스러운 입동기와 높은 해상도”가 확인되었다. 이와 같이 LPIPS‑AttnWav2Lip은 오디오‑시각 멀티모달 융합, 어텐션 기반 특징 강조, 퍼셉트럴 손실 설계라는 세 축을 결합해, 실시간·다중 화자 환경에서도 견고한 lip‑sync 성능을 제공한다.

**