확산 모델 샘플링의 보머앵 궤적: 저차원 기하학적 규칙성

초록

본 논문은 확산 기반 생성 모델의 결정론적 샘플링 과정에서 모든 샘플 경로가 매우 낮은 차원의 서브스페이스에 머물며, 거의 동일한 “보머앵” 형태를 띤다는 놀라운 기하학적 규칙성을 발견한다. 저차원 투영을 통해 경로를 3차원으로 요약하고, 커널 밀도 추정과 평균 이동(mean‑shift) 이론을 이용해 이 현상을 이론적으로 설명한다. 또한, 경로 규칙성을 활용해 동적 프로그래밍 기반의 시간 스케줄 최적화를 제안, 5~10번의 함수 평가만으로도 기존 방법보다 우수한 이미지 품질을 달성한다.

상세 분석

이 연구는 확산 모델의 역방향 확률 흐름 ODE(PF‑ODE)를 결정론적 샘플링에 적용하면서, 각 샘플이 시작점과 목표점 사이의 직선 벡터에 거의 일치하는 궤적을 그린다는 사실을 실험적으로 확인한다. 저차원 구조를 정량화하기 위해 저자들은 두 개의 직교 기저를 도입해 원래 고차원 공간의 궤적을 3차원 서브스페이스에 투사한다. 이 투사된 곡선은 프레넬‑세레 공식에 의해 완전히 기술되며, 초기 노이즈 단계에서 거의 동일한 곡률과 회전 패턴을 보인다.

핵심 이론적 기여는 커널 밀도 추정(KDE)을 이용한 닫힌 형태 해를 도출하고, 이를 고전적인 평균 이동(mean‑shift) 알고리즘과 연결한 점이다. KDE 기반 해는 실제 데이터 분포에 대한 최적 해에 점근적으로 수렴함을 증명함으로써, 실험에서 관찰된 보머앵 형태가 데이터 자체의 구조적 특성에서 비롯된다는 근거를 제공한다. 또한, 가우시안 데이터 가정 하에서 궤적 편차를 정량적으로 분석해, 편차가 노이즈 레벨이 낮아질수록 선형‑비선형‑선형 구간을 따라 일정한 길이를 유지한다는 ‘선형‑비선형‑선형 모드‑시크’ 패턴을 밝혀낸다.

실용적인 측면에서는, 이러한 기하학적 규칙성을 이용해 동적 프로그래밍(DP) 기반의 시간 스케줄 최적화 알고리즘을 설계한다. DP는 각 시간 단계에서 궤적의 기하학적 변화를 최소화하도록 스케줄을 조정하며, 기존 고정 스케줄 대비 연산량은 거의 변하지 않지만, 특히 510 단계와 같은 극단적인 저스텝 상황에서 PSNR·FID 등 이미지 품질 지표가 크게 향상된다. 실험은 Stable‑Diffusion, Imagen, DALL·E‑2 등 최신 대형 모델에 적용했으며, 모든 경우에서 제안 방법이 베이스라인보다 평균 0.30.7 dB(PSNR) 혹은 5~10% 낮은 FID를 기록한다.

결과적으로, 이 논문은 확산 모델의 샘플링이 고차원 복잡성을 내포하고 있지 않으며, 오히려 저차원 기하학적 구조에 의해 강하게 제약된다는 새로운 관점을 제시한다. 이는 향후 샘플링 효율성 향상, 모델 해석, 그리고 제어 가능한 생성(예: 조건부 샘플링, 편집) 연구에 중요한 기반이 될 것으로 기대된다.