확산 모델의 저차원 서브스페이스를 활용한 정밀 이미지 편집

초록

본 논문은 확산 모델의 후방 평균 예측기(PMP)가 특정 노이즈 구간에서 국소적으로 선형이며, 그 Jacobian의 특이벡터가 저차원 의미 서브스페이스에 집중된다는 사실을 발견한다. 이를 이론적으로 증명하고, 무학습·단일 스텝으로 지역적이고 해석 가능한 편집을 수행하는 LOCO Edit 방식을 제안한다. 편집 방향은 동질성, 전이성, 합성 가능성, 선형성을 갖으며, 텍스트‑조건부 모델에도 확장 가능하다.

상세 분석

논문은 먼저 확산 모델의 핵심 구성요소인 후방 평균 예측기(PMP) fθ,t(x_t)를 분석한다. 기존 연구는 PMP가 노이즈를 제거해 깨끗한 이미지의 사후 평균을 추정한다는 점에 초점을 맞췄지만, 이 논문은 PMP가 “특정 노이즈 레벨(t∈