차원 소멸: 확산 모델의 기하학적 기억 현상

초록

본 논문은 확산 생성 모델이 데이터가 희소해질 때 점진적으로 자유 차원을 잃어가며 기억(메모리) 현상을 보이는 ‘기하학적 기억’ 현상을 규명한다. 학습된 스코어 필드의 고유값 스펙트럼을 이용해 잠재 차원을 추정하고, 실험과 이론을 통해 주요 특성(특징이 먼저 붕괴, 스펙트럼 갭 형성, 점점 0차원으로 수축)을 제시한다.

상세 분석

논문은 먼저 확산 모델의 역확산 SDE dx = −∇ₓ log pₜ(x) dt + dWₜ에서 정의되는 스코어 함수 s(x,t)=∇ₓ log pₜ(x)를 분석한다. 저자들은 “Normal Bundle(NB)” 방법을 도입해 특정 위치 x₀에서 스코어 필드의 야코비안 J(x₀,t)의 고유값 분포를 측정하고, 이를 통해 잠재적인 데이터 매니폴드 차원 ˆm을 추정한다. 실험에서는 MNIST, CIFAR‑10, CelebA‑HQ 등 다양한 데이터셋을 여러 규모(10⁵ ~ 10²)로 축소하여 학습시킨 뒤 t=10⁻⁵에서 ˆm을 측정하였다. 결과는 데이터 양이 충분히 클 때 ˆm≈원래 매니폴드 차원 m을 유지하지만, 데이터가 10³ ~ 10⁴ 수준으로 감소하면 ˆm이 서서히 감소하고, 최종적으로 거의 0에 수렴함을 보여준다. 이는 모델이 전체 매니폴드 대신 일부 방향만을 기억하고, 나머지 자유도는 “동결”되는 현상이다.

이러한 현상을 이론적으로 설명하기 위해 저자들은 랜덤 에너지 모델(REM)을 확산 스코어에 매핑한다. 각 데이터 포인트 yᵤ는 에너지 Eᵤ(x)=−½‖yᵤ‖² + x·yᵤ 로 정의되고, 스코어는 Boltzmann 가중치 wᵤ∝exp(−Eᵤ/t) 의 평균으로 표현된다. 데이터 수 N은 N=exp(αd) 로 스케일링하고, 차원 d→∞ 한계에서 REM의 고전적인 고온(자기 평균) ↔ 저온(응축) 전이를 적용한다. 저온 영역에서는 스코어가 소수의 에너지 레벨, 즉 소수의 데이터 포인트에 집중돼 “점 기억”이 발생한다. 이 전이 시점 t_c는 데이터 밀도 α와 매니폴드 기하학에 의해 결정되며, 실험에서 관찰된 t₁, t₂와 일치한다.

스코어 야코비안의 고유값 스펙트럼을 분석하면, t>t₁에서는 연속적인 고유값 분포와 작은 스펙트럼 갭이 존재해 전체 매니폴드 차원을 유지한다. t₁>t>t₂ 구간에서는 큰 고유값과 작은 고유값 사이에 뚜렷한 갭이 생겨 ˆm<m이 되며, 일부 방향만 남는다. 최종적으로 t<t₂에서는 모든 고유값이 0에 가까워져 스펙트럼 전체가 “갭”을 보이며 ˆm≈0이 된다. 이러한 스펙트럼 갭은 기존 이론이 예측하지 못한 현상으로, 기억이 급격히 일어나지 않고 단계적으로 진행됨을 증명한다.

결과적으로 논문은 (1) 데이터 양이 감소하면 자유 차원이 순차적으로 사라지는 기하학적 기억 현상이 존재한다, (2) 스코어 야코비안의 고유값 스펙트럼을 통해 이를 정량화할 수 있다, (3) REM 기반 이론이 이러한 현상을 설명하며, 전이 시점과 스펙트럼 갭을 예측한다는 점을 제시한다. 이는 확산 모델의 일반화·기억 경계에 대한 새로운 물리적 직관을 제공하고, 저차원 매니폴드에서의 과적합 방지 및 프라이버시 보호 설계에 활용될 수 있다.