확산 모델에서 반대 노이즈 활용: 부정적 상관과 불확실성 정량화 향상

초록

본 논문은 초기 가우시안 노이즈를 그 부정값과 쌍으로 사용(antithetic sampling)했을 때, 생성된 이미지 간에 강한 부정적 상관이 일관되게 나타남을 발견한다. 이 현상은 다양한 데이터셋·아키텍처·조건부·비조건부 설정은 물론 VAE·Normalizing Flow와 같은 다른 생성 모델에서도 보이며, 점수 함수가 거의 선형적인 ‘affine antisymmetric’ 형태임을 시사한다. 부정적 상관을 이용하면 불확실성 정량화가 크게 개선되고, QMC와 결합해 추가적인 분산 감소 효과를 얻을 수 있다.

상세 분석

본 연구는 확산 모델의 초기 노이즈 선택이 생성 결과에 미치는 영향을 체계적으로 조사한다. 기존에는 모델 구조·학습 기법·샘플링 단계 최적화에 집중했지만, 초기 가우시안 노이즈 자체는 거의 연구되지 않았다. 저자들은 “antithetic noise” 즉, 임의의 노이즈 z와 그 부정값 −z를 동시에 사용해 두 개의 샘플을 생성하고, 이 두 샘플 사이의 피어슨 상관을 측정한다. 실험 결과는 다음과 같다. (1) 거의 모든 실험 설정에서 z와 −z로부터 생성된 이미지 간 상관계수가 −0.5 ~ −0.9 수준으로 매우 강하게 음의 방향을 보인다. (2) 무작위 독립 노이즈 쌍(z₁, z₂)에서는 상관계수가 0에 가깝다. (3) 중앙화(데이터 평균 차감) 후 상관이 더욱 강화된다. 이러한 현상은 UNet 기반 DDIM, Transformer 기반 DiT, Consistency Distillation 모델, VAE, Glow 등 다양한 아키텍처와 데이터셋(LSUN, CelebA‑HQ, CIFAR‑10, ImageNet 등)에서 재현된다.

이 현상을 설명하기 위해 저자들은 점수 네트워크 εₜ(x)가 “affine antisymmetric” 특성을 갖는다는 가설을 제시한다. 즉, 모든 t에 대해 εₜ(x)+εₜ(−x)≈2cₜ(상수벡터) 가 성립한다는 것이다. 수학적으로는 Corr(f(Z), f(−Z))=−1이면 f는 원점에서 affine antisymmetric임을 보이는 Lemma 1을 제시하고, 실험적으로는 각 타임스텝별 εₜ의 상관이 −1에 근접함을 확인한다. 이 가정 하에 DDIM 업데이트 식 Fₜ(x)=aₜx+bₜεₜ(x) 가 affine antisymmetric 형태를 유지하므로, 초기 단계에서 부정적 상관이 시작되면 전체 샘플링 과정 동안 유지된다.

부정적 상관을 활용한 불확실성 정량화는 두 가지 주요 이점을 제공한다. 첫째, antithetic 쌍은 서로의 보조변량 역할을 하여 분산을 크게 감소시킨다. 저자들은 90 % 수준의 신뢰구간 폭 감소와 100배 이상의 계산 효율 향상을 보고한다. 둘째, 이 방법은 추가적인 비용 없이 기존 파이프라인에 바로 적용 가능하다. 더 나아가, 저자들은 QMC와 RQMC 기법을 노이즈 설계에 결합해 샘플링 효율을 추가로 높였다. QMC는 고차원 적분에서 균등한 샘플링을 제공하므로, antithetic 쌍과 결합했을 때 분산 감소 효과가 상쇄되지 않으며, 실제 이미지 편집·다양성 향상 실험에서도 긍정적인 결과를 보였다.

한계점으로는 (i) 현재 가설은 경험적 증거에 크게 의존하며, 점수 네트워크가 실제로 얼마나 “affine antisymmetric”인지는 이론적 증명이 부족하다. (ii) 실험은 주로 deterministic 샘플러(DDIM)와 제한된 stochastic 샘플러(DDPM)에서 수행됐으며, 고차원 복잡한 조건부 모델(예: 텍스트‑투‑이미지 대규모 프롬프트)에서의 일반화는 추가 검증이 필요하다. (iii) 부정적 상관이 이미지 품질에 미치는 미세한 영향을 정량화하기 위한 인간 평가가 부족하다.

전반적으로, 이 논문은 확산 모델에서 초기 노이즈 설계가 간과되어 왔던 중요한 자유도를 밝혀냈으며, antithetic noise가 모델‑불변적인 성질을 통해 불확실성 정량화와 샘플 다양성 향상에 실질적인 이득을 제공한다는 점에서 학계·산업 모두에 의미 있는 인사이트를 제공한다.