확률적 확산 모델 일관성을 밝히는 랜덤 행렬 이론

초록

본 논문은 서로 겹치지 않는 데이터 서브셋으로 학습된 확산 모델이 동일한 노이즈 시드에 대해 거의 동일한 이미지를 생성한다는 현상을, 데이터의 1차·2차 통계만을 이용하는 선형 가우시안 모델로 설명한다. 랜덤 행렬 이론(RMT)을 활용해 유한 샘플 크기가 학습된 디노이저와 샘플링 맵의 기대값과 분산에 미치는 영향을 정량화하고, 기대값에서는 샘플링 변동이 노이즈 레벨을 재정규화(σ²→κ(σ²))하는 효과를, 분산에서는 고유모드의 이방성, 입력 위치의 비균질성, 데이터 규모에 따른 전반적 스케일링이라는 세 가지 요인을 도출한다. 이론적 예측을 UNet·DiT 등 실제 딥 네트워크에 적용해 비기억화 영역에서 일관성 감소 메커니즘을 실증한다.

상세 분석

본 연구는 확산 모델의 일관성 현상을 “선형 가우시안 디노이저”라는 가장 단순한 가정 아래에서 시작한다. 데이터 분포 p₀(x)의 평균 μ와 공분산 Σ를 이용해, 샘플 수 n에 비해 차원 d가 큰 고차원 한계에서 경험 공분산 ˆΣ는 확률적 변동을 갖지만, 랜덤 행렬 이론의 결정적 등가(deteministic equivalence, DE) 원리를 적용하면 ˆΣ를 Σ와 스칼라 함수 κ(λ)만을 이용한 결정적 형태로 대체할 수 있다. 여기서 κ(λ)는 자기 일관 방정식 κ−λ=γκ∫ s dμ(s)/(κ+s) 로 정의되며, γ=d/n은 데이터 비율이다. 이 식은 실제로 “노이즈 레벨 재정규화”를 의미한다; 즉, 유한 샘플에서 학습된 디노이저 D*_{ˆΣ}(x;σ)의 기대값은 인구 공분산 Σ를 사용하되, 노이즈 분산 σ²를 κ(σ²)로 치환한 형태와 동일하게 된다. 이 결과는 저분산 고유모드가 과도하게 축소(over‑shrink)되어 평균 μ 쪽으로 끌리는 현상을 설명한다.

분산 측면에서는 두 점 및 한 점 결정적 등가 관계를 이용해 Var_{ˆΣ}