역문제 해결을 위한 확산 사전 모델 기반 깁스 샘플러

초록

**
본 논문은 선형 관측·가우시안 잡음 모델과 확산 기반 사전 분포를 결합한 베이지안 역문제에 대해, 전·후방 확산 과정을 교차 이용한 깁스 샘플링 알고리즘(G‑DPS)을 제안한다. 모든 조건부 사후분포가 가우시안으로 닫힌 형태를 갖으며, FFT와 단순 선형 연산만으로 효율적으로 샘플을 생성한다. 실험에서는 MNIST 기반 이미지 복원에서 빠른 수렴과 정확한 불확실성 추정을 확인하였다.

**

상세 분석

**
이 논문은 세 가지 전제(선형 변환 + 가우시안 잡음, Ill‑posed 문제, 대규모 예시를 이용한 확산 사전) 하에서 베이지안 역문제의 사후 샘플링이 기존 방법들에 비해 얼마나 어려운지를 명확히 제시한다. 기존 연구들은 주로 확산 사전의 ‘조상 샘플링(ancestral sampling)’을 그대로 적용하거나, SMC·MCMC·Twisted Sampler 등 복잡한 변형을 도입했으며, 대부분이 근사적이거나 많은 파티클·스텝을 요구한다. 저자는 여기서 전방(p⁺)과 후방(p⁻) 확산 모델을 동시에 활용한다는 새로운 아이디어를 도입한다. 전방은 데이터‑조건부 사전(p⁺₀:T)이며, 후방은 노이즈‑조건부 사전(p⁻₀:T)으로, 두 모델은 학습 단계에서 Kullback‑Leibler 거리 최소화로 거의 일치하도록 조정된다.

깁스 샘플러는 각 레이어 x_t (t=0,…,T)를 블록으로 보고, 해당 레이어의 조건부 사후분포 π_{t|⋆}(x_t|y, x_{⋆\t}) 를 직접 샘플링한다. 핵심은 모든 조건부가 가우시안 형태임을 증명한 점이다.

• x₀(관심 이미지)는 p⁻₀|1(x₀|x₁)와 관측 likelihood N(y;Hx₀, v_e I)의 곱으로, 정규 방정식 형태의 Wiener/Tikhonov 해를 얻는다. 이때 정확도 행렬 Γ₀ = HᵀH/v_e + I/v₋₀ 로 정의되고, FFT를 이용해 주파수 영역에서 독립적인 스칼라 연산으로 효율적으로 구현된다.
• 중간 레이어 x_t (1≤t≤T‑1)는 전방 전이 p⁺{t|t‑1}와 역방향 전이 p⁺{t+1|t}의 곱으로 구성되며, 역시 가우시안이며 평균 ε_t = (k_t x_{t‑1}/v⁺t + k{t+1} x_{t+1}/v⁺{t+1}) / (1/v⁺t + k{t+1}²/v⁺{t+1}) 로 계산된다.
• 최종 레이어 x_T는 단순히 전방 전이 p⁺{T|T‑1}만 남아 평균 ε_T = k_T x{T‑1} 로 정의된다.

이러한 구조 덕분에 한 번의 깁스 반복(iteration)마다 네트워크 µ_θ_t 를 한 번만 호출하고, 나머지는 선형 연산·FFT만 수행한다. 따라서 연산 복잡도는 O(T·N log N) 수준이며, GPU 가속 시 실시간 수준에 가깝다.

수렴 이론 측면에서는 전·후방 사전이 완전히 일치할 경우 전통적인 깁스 마코프 체인의 수렴 보장을 그대로 적용할 수 있다. 현재 논문에서는 학습 단계에서 두 사전이 충분히 근접한다는 가정 하에 “실질적” 수렴을 주장하고, 향후 완전한 이론적 증명을 진행 중이라고 명시한다.

실험에서는 32×32 MNIST 이미지에 3×3 블러와 σ_e=0.05 가우시안 잡음을 추가한 상황을 설정하였다. 초기값을 관측 y 로 두고, T=10 단계의 확산 모델을 사용해 1,030번의 깁스 반복을 수행했으며, 전체 실행 시간은 53초(CPU)였다. 결과는 (1) 픽셀별 사후 평균이 실제 값과 0.07 이하의 절대 오차, (2) 사후 표준편차(PSD) 내에 실제 값이 95% 이상 포함, (3) 복원 이미지가 시각적으로 원본과 거의 구분되지 않을 정도의 품질을 보였다. 또한 체인 자동상관 분석에서 일부 픽셀은 10 iteration 내에 거의 독립성을 확보했으며, 다른 픽셀도 300 iteration 내에 충분히 수렴했다.

요약하면, 이 논문은 확산 사전 기반 베이지안 역문제에서 “조건부 가우시안”이라는 강력한 구조적 특성을 이용해, 복잡한 SMC·MCMC 대비 훨씬 간단하고 빠른 깁스 샘플러를 설계했으며, 실험을 통해 정확도·불확실성 정량화·연산 효율성 모두에서 경쟁력을 입증하였다. 향후 연구 과제로는 전·후방 사전 불일치 상황에 대한 엄밀한 수렴 증명과, 고해상도·다채널 이미지에 대한 확장 가능성 검증이 남아 있다.

**