고차원 가우시안 필드 효율적 샘플링 방법

초록

본 논문은 정밀 행렬이 희소하거나 순환형이 아닌 경우에도 적용 가능한 새로운 가우시안 필드 샘플링 기법을 제안한다. ‘교란‑최적화(perturbation‑optimization)’ 원리를 이용해 무작위 교란을 가한 이차 목표 함수를 최적화하면 목표 분포의 샘플을 직접 얻을 수 있음을 증명한다. 특히 베이지안 역문제에서의 선형 관측 모델과 하이퍼파라미터 추정에 유용하며, 초해상도 복원 실험을 통해 실효성을 확인한다.

상세 분석

이 논문은 고차원 가우시안 확률 필드의 샘플링 문제를 “교란‑최적화(PO)”라는 새로운 프레임워크로 접근한다. 기존에 알려진 두 가지 효율적 샘플링 방법은 (1) 정밀 행렬 Q가 희소할 때 체스보드‑형 블록 Gibbs 혹은 Cholesky 분해를 이용한 직접 해법, (2) Q가 순환 행렬일 때 푸리에 도메인에서 독립 샘플링 후 역 FFT를 수행하는 방법이다. 그러나 실제 역문제에서는 Q가 Q = Σₖ Mₖᵀ Rₖ⁻¹ Mₖ 형태로 나타나며, 각 Rₖ는 비교적 작은 차원의 공분산(예: 노이즈, 사전)이고 Mₖ는 관측 연산자(H) 혹은 항등 행렬 등으로 구성된다. 이 경우 Q는 일반적으로 비희소·비순환이며, 기존 방법은 메모리·시간 복잡도 면에서 비현실적이다.

PO 알고리즘은 다음 두 단계로 구성된다.

1. 교란 단계(P): 각 k에 대해 ηₖ ~ N(0, Rₖ) 를 독립적으로 생성한다. 여기서 Rₖ는 원래 문제에서 쉽게 샘플링 가능한 공분산이다(예: 백색 잡음, 라플라시안 사전 등).
2. 최적화 단계(O): J(x|η₁,…,η_K) = Σₖ (ηₖ – Mₖ x)ᵀ Rₖ⁻¹ (ηₖ – Mₖ x) 를 최소화한다. J는 이차형이므로 해는 선형 연립방정식 Q x = Σₖ Mₖᵀ Rₖ⁻¹ ηₖ 로 명시된다. 즉, 최적해 x̂ = Q⁻¹ Σₖ Mₖᵀ Rₖ⁻¹ ηₖ .

주요 정리는 “x̂ 은 N(0, Q⁻¹) 분포를 따른다”는 것으로, 증명은 ηₖ 가 독립 가우시안임을 이용해 평균이 0이고 공분산이 Q⁻¹임을 직접 계산한다. 평균이 비제로인 경우에도 ζₖ ~ N(mₖ, Rₖ) 로 교란을 정의하고 동일한 절차를 적용하면 x̂ ~ N(Q⁻¹ Σₖ Mₖᵀ Rₖ⁻¹ mₖ, Q⁻¹) 가 된다.

알고리즘의 핵심 장점은 Q⁻¹ 를 직접 구하거나 Cholesky 분해를 수행할 필요가 없다는 점이다. 대신, 각 Rₖ⁻¹ ηₖ 를 계산하고, Q⁻¹ 를 적용하는 대신 “Q x = RHS” 형태의 선형 시스템을 반복적인 수치 최적화(예: conjugate gradient)로 푸는 것이 가능하다. 고차원에서는 Q가 희소하지 않더라도 Mₖ와 Rₖ⁻¹ 의 구조가 간단(예: H는 블러·다운샘플링 연산, I는 항등)하기 때문에 행렬‑벡터 곱을 효율적으로 구현할 수 있다.

베이지안 역문제에 적용하면, 사후분포 p(x|θ, y) 가 N(m_post, R_post) 형태가 되며, 여기서 R_post⁻¹ = Hᵀ R_n⁻¹ H + R_x⁻¹ 로 정의된다. H가 일반적인 블러·다운샘플링 연산이면 Q = R_post⁻¹ 은 비희소·비순환이지만, PO 알고리즘은 K=2, M₁=H, M₂=I, R₁=R_n, R₂=R_x 로 바로 적용 가능하다. 따라서 Gibbs 샘플러 안에서 x 를 샘플링하는 비용이 크게 감소한다.

실험에서는 초해상도(SR) 문제를 선택하였다. 저해상도 이미지 y = P C x + n (P: 다운샘플링, C: 블러) 에 대해 사전은 라플라시안 D 로 정의된 가우시안이며, 하이퍼파라미터 γ_n, γ_x 를 제프리스 사전으로 추정한다. Gibbs 루프 안에서 γ_n, γ_x 는 Gamma 분포에서 직접 샘플링하고, x 는 PO 알고리즘으로 샘플링한다. 결과는 하이퍼파라미터 사슬이 빠르게 수렴하고, 99% 신뢰구간 내에 원본 이미지가 포함되는 것을 보여준다.

한계점으로는 최적화 단계가 정확히 Q⁻¹ 를 적용하는 것이 아니라 수치적 최적화에 의존한다는 점이다. 이 경우 최적화 반복 횟수가 차원에 비례해 증가할 수 있어, 사전 구조가 복잡하거나 Mₖ가 비선형이면 추가적인 가속 기법(프리컨디셔닝, 멀티그리드 등)이 필요하다. 또한, 교란 단계에서 Rₖ⁻¹ 를 적용해야 하는데, Rₖ가 대규모 비대각 행렬이면 비용이 증가한다. 그럼에도 불구하고, 일반적인 선형 역문제에서 매우 실용적인 대안으로 평가된다.