무조건 확산 모델의 빠르고 일반적인 스티어링

초록

본 논문은 조건부 학습 없이도 무조건 확산 모델을 효율적으로 제어할 수 있는 두 단계 스티어링 방식을 제안한다. 초기 고노이즈 단계에서는 클래스별 공분산을 이용한 “노이즈 정렬”로 거친 의미 구조를 잡고, 후반 저노이즈 단계에서는 오프라인으로 학습된 RFM(Recursive Feature Machine) 기반 개념 벡터를 이용해 정밀한 방향성을 주입한다. 이 방법은 추론 시 그라디언트 계산이 전혀 필요 없으며, 기존의 분류기 기반 가이드보다 높은 정확도와 이미지 품질을 유지하면서 10배 이상 속도 향상을 달성한다.

상세 분석

이 논문은 무조건 확산 모델(UNet 기반)의 내부 활성화 공간에 존재하는 의미적 구조를 두 가지 관점에서 활용한다. 첫 번째 관점은 “노이즈 정렬”이다. 확산 과정의 초기 단계는 입력이 거의 순수 가우시안 노이즈에 가까워 의미 정보가 크게 손실되지만, 클래스별 평균 µ_c와 공분산 V_c를 사전에 계산해 두면, 선형 PCA 기반 디노이저 D_c(x_t;σ_t) 를 적용해 고노이즈 상태에서도 클래스별 평균 방향으로 샘플을 끌어당길 수 있다. 이는 전통적인 분류기 기반 그라디언트 가이드가 고노이즈 단계에서 불안정한 이유를 회피한다.

두 번째 관점은 “전이 가능한 개념 벡터”이다. 저노이즈 단계에서는 UNet의 bottleneck 혹은 encoder 블록에서 추출한 활성화가 강한 클래스 구분력을 보인다. 저자들은 RFM이라는 백프로파게이션 없이 선형 분류기를 학습하는 방법을 이용해, 각 클래스에 대한 최적의 방향 d_c 를 찾는다. 중요한 발견은 이 d_c 가 특정 저노이즈 시점(예: σ≈0.21)에서 학습되었음에도 불구하고, 중간 노이즈 단계 전반에 걸쳐 높은 코사인 유사도를 유지한다는 점이다. 따라서 한 번 학습된 고정 벡터를 전체 샘플링 과정에 재사용할 수 있어, 매 스텝마다 새로운 방향을 계산할 필요가 없다.

실험 설계는 크게 세 부분으로 나뉜다. (1) 노이즈 정렬 단계에서는 클래스별 PCA 통계만 필요하므로 오프라인 연산 비용이 매우 낮다. (2) RFM 학습 단계에서는 실제 이미지에 노이즈를 가해 전방(noising) 과정을 통해 저노이즈 활성화를 수집한다. 이는 역방향(DDIM) 샘플링보다 10배 이상 효율적이며, 충분히 구분 가능한 특징을 제공한다. (3) 추론 단계에서는 고노이즈 단계에서 PCA 기반 디노이저를 적용해 거친 클래스 구조를 잡고, 이후 지정된 타임스텝부터 RFM 벡터를 선형 조작해 세밀한 제어를 수행한다.

성능 평가에서는 CIFAR‑10, ImageNet‑256, CelebA 등 다양한 데이터셋에서 기존의 Classifier‑Free Guidance(CFG)와 Noise‑Conditioned Classifier Guidance(NCG)를 능가한다. 예를 들어 CIFAR‑10에서 가이드 정확도는 96.6%로 기존 방법(77.1%~86.0%)을 크게 앞섰으며, 클래스당 FID도 41.4로 현저히 낮았다. 또한 추론 속도는 TF‑G(Training‑Free Gradient) 대비 16.4배, CFG 대비 10배 이상 가속화되었다.

이러한 결과는 두 가지 핵심 원리가 결합된 효과임을 확인한다. 첫째, 고노이즈 단계에서는 통계적 선형 변환만으로도 충분히 클래스 구조를 잡을 수 있다. 둘째, 저노이즈 단계에서는 의미적 풍부함을 가진 내부 활성화에 선형 개념 벡터를 적용함으로써 정밀 제어가 가능하다. 그라디언트가 전혀 필요 없으면서도 높은 정확도와 품질을 유지한다는 점에서, 향후 대규모 사전학습된 무조건 확산 모델을 다양한 다운스트림 태스크에 빠르게 적용하는 데 큰 잠재력을 가진 접근법이라 할 수 있다.