이미지 역문제 베이지안 추정의 변분 접근법

초록

본 논문은 영상 역문제에서 이미지 픽셀 $f$와 하이퍼파라미터 $\theta$의 공동 사후분포를 직접 계산하기 어려운 문제를 다룬다. 저자는 사후분포를 $q(f)q(\theta)$ 형태의 분리 가능한 근사분포로 표현하고, 지수형 공액 가족을 이용해 각 요인의 형태를 선택한다. 이를 통해 복잡한 비선형 최적화와 다변량 적분을 회피하면서도 계산량이 합리적인 반복 알고리즘을 설계한다. 논문은 라플라스 근사와 MCMC와의 비교를 제시하고, 다양한 지수형 가족 선택에 따른 알고리즘 변형을 상세히 기술한다.

상세 분석

본 연구는 베이지안 역문제에서 이미지 변수 $f$와 하이퍼파라미터 $\theta$를 동시에 추정하는 공동 사후분포 $p(f,\theta|g)$의 복잡성을 해결하고자 변분 베이즈(Variational Bayes, VB) 프레임워크를 도입한다. 전통적인 접근법인 라플라스 근사와 마르코프 연쇄 몬테카를로(MCMC) 샘플링은 각각 2차 근사에 의한 편향과 고차원 적분에 대한 높은 계산 비용이라는 한계를 가진다. 변분 방법은 사후분포를 보다 tractable한 형태인 $q(f)q(\theta)$ 로 근사함으로써, 기대 하한(Evidence Lower BOund, ELBO)을 최대화하는 최적의 $q$를 찾는다. 핵심 아이디어는 두 변수 집합을 독립적으로 취급하면서도, 각 분포를 지수형 공액 가족에 속하도록 선택하는 것이다. 예를 들어, $f$에 대해서는 가우시안 형태를, 정밀도(precision)와 같은 하이퍼파라미터에 대해서는 감마(Gamma) 혹은 베타(Beta) 분포를 채택한다. 이렇게 하면 사후분포의 기대값과 분산을 폐쇄형으로 계산할 수 있어, 업데이트 식이 간단한 선형 연산으로 귀결된다.

논문은 ELBO를 $q$에 대해 미분하고 라그랑주 승수를 도입해 최적화 조건을 도출한다. 그 결과, $q(f)$는 현재 $q(\theta)$의 기대값을 이용해 평균과 공분산을 업데이트하고, $q(\theta)$는 $q(f)$의 2차 모멘트를 이용해 형태와 스케일 파라미터를 갱신한다. 이 과정은 교번(iterative) 방식으로 수행되며, 각 단계마다 KL 발산이 감소함을 보장한다. 또한, 지수형 공액 가족을 선택함으로써 사후분포와 사전분포 사이의 conjugacy가 유지되어, 복잡한 적분 없이 충분통계(sufficient statistics)만을 교환하면 된다.

알고리즘의 계산 복잡도는 주로 $f$의 차원 $N$에 비례하는 행렬 연산(예: $N\times N$ 공분산 행렬의 역)으로 제한된다. 저자는 이 문제를 해결하기 위해 희소 행렬 구조, FFT 기반 컨볼루션, 그리고 변분 사후분포의 저차원 근사(예: 대각 공분산) 등을 제안한다. 실험 결과는 라플라스 근사 대비 더 정확한 MAP 추정값을 제공하고, MCMC 대비 수십 배 빠른 수렴 속도를 보여준다. 특히, 하이퍼파라미터의 불확실성을 정량화할 수 있다는 점에서 변분 접근법은 기존 방법보다 우수하다.

하지만 변분 근사는 KL 발산을 한쪽 방향( $q$에서 $p$로)만 최소화하기 때문에, 사후분포의 꼬리 부분을 과소평가할 위험이 있다. 또한, $q$를 완전히 분리된 형태로 가정함으로써 변수 간의 상호 의존성을 완전히 포착하지 못한다는 한계도 존재한다. 이러한 점을 보완하기 위해 저자는 더 복잡한 구조적 변분(예: 트리형 혹은 블록형 factorization)와 하이브리드 MCMC‑VB 스킴을 향후 연구 과제로 제시한다.

요약하면, 본 논문은 베이지안 영상 역문제에서 변분 근사를 통해 계산 효율성과 추정 정확도 사이의 균형을 성공적으로 달성했으며, 지수형 공액 가족을 활용한 구체적인 업데이트 식을 제공함으로써 실용적인 알고리즘 구현을 가능하게 했다.