표정 합성을 위한 GAN 일반화 향상

초록

RegGAN은 로컬 패치 기반 리지 회귀 레이어와 다중 스케일 어텐션 리파인먼트 네트워크를 결합해, 제한된 CFEE 데이터만으로도 다양한 도메인(셀러브리티 사진, 초상화, 조각, 아바타 등)의 얼굴에 자연스러운 표정을 삽입한다. 회귀 레이어는 표현 디테일을 정확히 학습해 일반화를 촉진하고, GAN 리파인먼트는 현실감과 세부 보존을 강화한다. 네 가지 객관적 지표(ECS, FSS, QualiCLIP, FID)와 인간 평가에서 기존 6개 최첨단 모델을 전반적으로 능가한다.

상세 분석

RegGAN의 핵심 아이디어는 “표정 전이 → 리파인먼트”라는 두 단계 파이프라인에 있다. 첫 번째 단계인 표현 레이어 G_E는 로컬 r × r 수용 영역을 이용한 스파스 리지 회귀를 적용한다. 기존 전역 리지 회귀는 파라미터 수가 이미지 크기에 비례해 급증하지만, 패치 기반 회귀는 각 픽셀당 r² + 1개의 가중치만 필요하므로 메모리와 연산량을 크게 절감한다. 또한 L2 정규화(λ_Reg)와 편향(b) 포함으로 과적합을 방지하고, 닫힌 형태 해를 통해 빠른 수식적 최적화를 가능하게 한다. 이러한 로컬 회귀는 입력 이미지의 도메인(조명, 배경, 스타일)과 무관하게 표정 변형을 학습하도록 돕는다; 즉, 입력이 인간 얼굴이든 조각이든 아바타이든 동일한 변환 매핑을 적용할 수 있다.

두 번째 단계인 리파인먼트 네트워크 G_R은 인코더‑디코더 구조에 다중 스케일 어텐션 블록(EAB, LAB, DAB)을 삽입한다. 각 블록은 피처 유닛(F)과 어텐션 유닛(A)으로 구성되며, 어텐션 유닛은 hourglass 네트워크와 1×1 컨볼루션을 결합해 눈, 입 등 표정 핵심 부위에 가중치를 집중한다. 이러한 설계는 전역적인 구조 유지와 동시에 미세 디테일(주름, 피부 질감)을 복원한다. 또한, 스킵 연결 대신 어텐션 기반 가중합을 사용함으로써 불필요한 아티팩트(블러, 왜곡)를 최소화한다.

학습은 순차적으로 진행된다. 먼저 회귀 레이어를 최소 제곱 손실 L_Reg 과 정규화 항으로 학습시켜 중간 이미지 x_E 를 생성한다. 이후 고정된 x_E 를 입력으로 리파인먼트 네트워크를 GAN 손실 L_GAN (판별자 D와의 대립)과 픽셀‑레벨 L1/L2 손실을 결합해 학습한다. λ 파라미터는 회귀와 적대 손실 간 균형을 조절한다.

실험에서는 CFEE(Controlled Facial Expression) 데이터셋(≈300장)만 사용했음에도, 테스트 셋으로는 CelebA‑HQ, 고전 초상화, 3D 아바타 렌더링, 석상 사진 등 OOD(Out‑Of‑Distribution) 이미지들을 포함했다. 평가 지표는 다음과 같다.

• ECS (Expression Classification Score): 사전 학습된 표정 분류기로 합성 이미지의 표정 정확도 측정.
• FSS (Face Similarity Score): 얼굴 인식 모델을 이용해 원본과 합성 이미지 간 아이덴티티 유사도 평가.
• QualiCLIP: CLIP 기반 텍스트‑이미지 유사도로 현실감과 의미 일관성 측정.
• FID: Inception 특징 분포 차이로 전반적인 이미지 품질과 다양성 평가.

RegGAN은 ECS, FID, QualiCLIP에서 6개 기존 모델을 모두 앞서며, FSS에서는 2위에 머물렀다(다른 모델보다 약 2% 낮음). 인간 평가에서는 표정 품질, 아이덴티티 보존, 현실감 각각 25 ~ 30% 우위를 보였다. Ablation 실험에서 회귀 레이어 없이 바로 GAN을 학습하면 OOD 이미지에서 표정 왜곡과 아이덴티티 손실이 급증하고, 어텐션 블록을 제거하면 FID와 QualiCLIP이 크게 악화된다.

한계점으로는 (1) 회귀 레이어가 각 표정 쌍마다 별도로 학습되어야 하므로 다중 표정(연속적인 강도 변화) 처리에 추가 비용이 발생한다. (2) 현재는 정적인 로컬 패치를 사용하므로 비정형 얼굴(극단적인 각도, 큰 가림)에서는 성능 저하가 관찰된다. (3) 정량적 지표는 주로 이미지 수준이며, 동영상 연속성이나 실시간 적용에 대한 평가가 부족하다. 향후 연구에서는 다중 표정 연속성을 위한 가변 패치 크기, 3D 얼굴 모델과의 결합, 그리고 diffusion 기반 디노이징을 도입해 더욱 정교한 디테일 복원을 목표로 할 수 있다.

전반적으로 RegGAN은 “회귀 기반 일반화 + 어텐션 GAN 리파인먼트”라는 새로운 설계 패러다임을 제시하며, 제한된 학습 데이터에서도 다양한 도메인에 강인한 표정 합성 능력을 보여준다. 이는 얼굴 애니메이션, 가상 아바타 제작, 문화유산 복원 등 실용적 응용 가능성을 크게 확장한다.