대규모 베이지안 압축 센싱을 위한 효율적 변분 추론

초록

본 논문은 무거운 꼬리(prior)를 갖는 선형 모델에서 변분 베이지안 방법을 사용해 전체 사후분포를 근사한다. 핵심은 Gaussian 분산을 샘플링 기반으로 빠르게 추정해 Lanczos 방식보다 정확하고 확장성이 뛰어난 알고리즘을 제시하는 것이다. 이미지 디블러링 실험을 통해 대규모 문제에서도 메모리·시간 복잡도가 기존 점추정과 동등함을 입증한다.

상세 분석

이 연구는 베이지안 압축 센싱에서 사후분포 전체를 다루는 변분 베이지안 프레임워크를 제안한다. 기존의 MAP 기반 방법은 희소성을 이용해 최적화 문제만 해결하지만, 사후분포의 불확실성이나 하이퍼파라미터 학습을 제공하지 못한다. 저자들은 무거운 꼬리(prior)인 라플라시안 혹은 스튜던트와 같은 super‑Gaussian 잠재 변수 사전분포를 가정하고, 이를 Gaussian 형태의 변분 근사 Q(x|y)로 변환한다. 변분 파라미터 ξ=(β,γ)를 최적화하기 위해서는 외부 루프에서 A=σ⁻² HᵀH+GᵀΓ⁻¹G의 대각 원소인 marginal variance z_k=Var_Q(s_k|y)를 반복적으로 계산해야 하는데, 이는 N≈10⁶ 규모의 변수에 대해 전통적인 방법으로는 불가능하다.

논문은 이 병목을 해결하기 위해 최근 제안된 Perturb‑and‑MAP 알고리즘을 활용한다. Perturb‑and‑MAP는 Gaussian Markov Random Field(GMRF)에서 정확한 샘플을 생성하는데, 각 Gaussian factor에 독립적인 잡음을 주입하고, 교정된 conjugate gradient를 통해 perturbed GMRF의 MAP(=mean)를 계산한다. 이렇게 얻은 샘플 {x^{(s)}}_{s=1}^S를 이용해 Monte‑Carlo 방식으로 분산을 추정하면, 편향이 없으며 Lanczos가 보이는 절대값 저하 문제를 회피한다. 특히, 몇 개의 샘플만으로도 충분히 정확한 z_k를 얻을 수 있어, 변분 외부 루프의 연산량을 크게 감소시킨다.

또한 저자들은 이 샘플 기반 추정이 변분 자유 에너지(free energy)와 수렴 모니터링에도 활용될 수 있음을 보인다. 샘플을 통해 로그 행렬식 |A|의 근사값을 얻고, 이를 상한(bound)으로 사용해 변분 목표함수 φ_Q(γ)를 효율적으로 업데이트한다. 내부 루프에서는 smoothed MAP 문제를 quasi‑Newton 방법으로 풀어 변분 평균 ˆx를 얻으며, γ는 closed‑form 업데이트식 γ_k⁻¹=−2 d log t_k(√v)/dv|_{v=ˆs_k²+z_k} 로 갱신한다.

알고리즘은 완전 병렬화가 가능하다. 샘플 생성과 분산 추정 단계는 서로 독립적인 작업이므로 다중 코어·GPU 환경에서 선형적으로 스케일한다. 메모리 요구사항도 A와 G의 희소 구조만 저장하면 되므로, 기존 MAP 기반 압축 센싱과 동일한 O(N) 수준을 유지한다. 실험에서는 256×256 이미지 디블러링 문제에 대해 수백 개의 샘플만으로도 Lanczos 대비 5배 이상 빠른 수렴과 더 낮은 재구성 오차를 달성했다.

결과적으로, 이 논문은 변분 베이지안 압축 센싱에서 가장 큰 장애물인 Gaussian 분산 계산을 효율적인 샘플링 기법으로 대체함으로써, 대규모 이미지·신호 처리에 베이지안 접근을 실용화하는 중요한 전진을 제시한다.