잠재공간 최적화 기반 다중모달 이미지 인페인팅

초록

본 논문은 대형 확산 모델을 추가 학습 없이 그대로 활용하면서, 마스크 영역의 잠재벡터를 역확산 과정 중에 최적화하는 방법을 제안한다. 새로운 “배경 보존 손실”과 “의미 중심화 손실”을 통해 텍스트·이미지·스케치 등 다양한 조건에 맞는 고품질 인페인팅을 실시간에 가깝게 구현한다.

상세 분석

PILOT은 기존 인페인팅 접근법이 갖는 두 가지 근본적인 한계를 극복한다. 첫째, 모델 파인튜닝 방식은 데이터·연산 비용이 크고, 새로운 도메인에 과적합하기 쉽다. 둘째, 단순한 잠재·픽셀 블렌딩은 마스크 경계에서 의미적 불일치를 초래한다. 이를 해결하기 위해 저자들은 역확산 과정의 초기 단계가 의미와 레이아웃을 결정한다는 관찰에 기반해, 해당 단계에서 잠재벡터 zₜ를 직접 조정한다. 구체적으로, 매 τ 스텝마다 현재 시점 t 에 대한 “one‑step reconstruction” ˜z₀와 각 레이어의 교차‑어텐션 맵 Aᵢ를 이용해 두 개의 손실을 계산한다.

1. 배경 보존 손실 L_bg는 마스크 외부(1‑m_d) 영역의 재구성 ˜z₀와 원본 잠재 z_in 사이의 L2 차이를 최소화한다. 이는 역확산이 배경 정보를 왜곡하지 않도록 강제하며, 블렌딩 단계에서 마스크 경계가 부드럽게 이어지게 만든다.

2. 의미 중심화 손실 L_s는 텍스트(또는 기타 모달리티) 조건이 마스크 내부에 집중되도록 교차‑어텐션 맵을 정규화한다. Aᵢ는 Qᵢ·Kᵢᵀ를 스케일링 후 softmax로 얻어지며, 저자는 마스크 영역 m_d 에 대한 어텐션 강도를 높이고, 배경 영역에 대한 어텐션을 억제하는 형태로 L_s를 정의한다. 이렇게 하면 텍스트 의미가 인페인팅 영역에만 강하게 반영되어, “semantic drift”를 방지한다.

또한, coherence scale γ 파라미터를 도입해 최적화 종료 시점을 (1‑γ)·T 로 조절한다. γ가 클수록 후반 단계까지 최적화를 진행해 세밀한 디테일을 확보하지만 연산량이 증가하고, γ가 작을수록 초기 의미 단계만 최적화해 10초 이내의 실시간 성능을 달성한다.

PILOT은 ControlNet, DreamBooth, LoRA 등 사전 학습된 확산 모델과 자유롭게 결합될 수 있다. 특히 DreamBooth와 같은 개인화된 텍스트‑투‑이미지 모델에 적용하면, 특정 인물이나 객체를 그대로 유지하면서 해당 영역을 새롭게 채우는 “subject‑driven inpainting”이 가능하다.

실험에서는 PIE 벤치마크, NIMA, CLIP‑Score 등 정량 지표와 인간 평가를 통해 기존 SOTA 방법(Blended Diffusion, PFB‑Diff 등)을 크게 앞선 결과를 보였다. 특히 다중 모달 조건(텍스트 + 이미지, 텍스트 + 스케치 등)에서 의미 일관성 및 배경 자연스러움이 눈에 띄게 향상되었다. Ablation study는 L_bg와 L_s 각각이 품질에 미치는 영향을 확인하고, γ와 τ의 조합이 연산 효율과 이미지 품질 사이의 트레이드오프를 어떻게 조절하는지 상세히 분석한다.

요약하면, PILOT은 “잠재공간을 직접 최적화한다”는 새로운 패러다임을 제시함으로써, 대형 확산 모델을 그대로 활용하면서도 고품질, 다중모달, 빠른 이미지 인페인팅을 가능하게 만든다.