반복 라플라스 근사로 확률밀도 추정

초록

본 논문은 라플라스 근사의 한계를 보완하기 위해 잔차에 대해 반복적으로 라플라스 근사를 적용하는 새로운 방법을 제안한다. 최종 근사는 다변량 정규밀도의 선형 결합 형태가 되며, 각 정규성분의 가중치는 목표 분포와의 적합도를 최적화하도록 선택된다. 구현된 R 패키지 iterLap를 통해 실험 결과를 확인했으며, 기존 다변량 밀도 근사 기법에 비해 계산 효율성과 정확도에서 경쟁력을 보인다.

상세 분석

라플라스 근사는 로그-우도 함수의 최대점 주변을 2차 테일러 전개하여 정규분포로 근사하는 전통적인 방법이다. 그러나 다변량 비정규 혹은 다중모드 구조를 가진 사후분포에서는 단일 정규분포가 전체 형태를 포착하지 못한다는 근본적인 한계가 있다. 저자들은 이러한 문제를 “잔차 라플라스 근사”라는 아이디어로 해결한다. 구체적으로, 현재까지의 근사값 ( \hat{f}k(x) )와 실제 목표밀도 ( f(x) ) 사이의 차이인 잔차 ( r_k(x)=f(x)-\hat{f}k(x) )를 정의하고, 이 잔차에 다시 라플라스 근사를 적용한다. 새로운 정규성분 ( \phi{k+1}(x) )와 그 가중치 ( w{k+1} )를 구해 ( \hat{f}{k+1}(x)=\hat{f}k(x)+w{k+1}\phi{k+1}(x) ) 로 업데이트한다. 이 과정을 잔차가 충분히 작아질 때까지 반복함으로써 최종 근사는 다중 정규성분의 선형 결합, 즉 가우시안 혼합 모델 형태가 된다.

핵심 기술적 기여는 다음과 같다. 첫째, 잔차에 대한 라플라스 근사는 기존 라플라스 근사의 2차 근사 구조를 그대로 활용하므로 구현이 간단하고, 각 단계에서 Hessian 행렬을 재계산하는 비용이 제한적이다. 둘째, 가중치 ( w_{k} )는 최소제곱 혹은 최대우도 기준으로 최적화되며, 이는 전체 혼합 모델의 정규화와 정확도를 동시에 보장한다. 셋째, 저자들은 R 패키지 iterLap를 제공하여 자동화된 반복 절차와 시각화 도구를 포함시켰다. 실제 데이터와 인공 데이터 실험에서, iterLap는 변동성이 큰 다변량 베타분포, 스키니 정규분포, 그리고 다중 모드 혼합 분포 등을 높은 정확도로 근사했으며, 특히 고차원(10차원 이상)에서도 MCMC 기반 샘플링 대비 몇 배에서 수십 배의 계산 시간 절감 효과를 보였다.

이 방법의 제한점도 존재한다. 잔차가 매우 비선형이거나 급격히 변하는 영역에서는 2차 근사가 충분히 정확하지 않을 수 있다. 또한, 반복 횟수가 증가함에 따라 가중치 최적화 문제가 고차원 비선형 최적화로 전이될 위험이 있다. 따라서 실용적인 적용에서는 사전 차원 축소나 사전 모드 탐색과 결합하는 것이 바람직하다. 전반적으로, 반복 라플라스 근사는 기존 라플라스 근사의 단순함과 가우시안 혼합 모델의 유연성을 결합한 혁신적인 접근법이라 할 수 있다.