확산 사전 기반 온라인 포스터리어 샘플링

초록

본 논문은 다중 팔 밴딧 문제에서 기존의 가우시안 사전 대신 확산 모델을 사전으로 사용하여 포스터리어 샘플링을 수행하는 새로운 알고리즘을 제안한다. 역확산 과정의 각 단계마다 라플라스 근사를 적용해 조건부 포스터리어를 근사하고, 이를 체인 형태로 샘플링함으로써 계산 효율성을 유지하면서 복잡한 사전 분포를 표현한다. 이 방법은 이론적으로 점근적 일관성을 보이며, 실험을 통해 다양한 컨텍스트 밴딧 환경에서 기존 방법보다 우수한 성능을 입증한다.

상세 분석

이 논문은 컨텍스트 밴딧에서 탐색‑활용 트레이드오프를 해결하기 위한 탐색 전략으로서 Thompson Sampling(TS)의 핵심인 포스터리어 샘플링을 재조명한다. 전통적으로 TS는 다변량 가우시안 사전을 가정하고, 이 경우 사후분포는 폐쇄형 해를 갖거나 라플라스 근사만으로도 효율적으로 샘플링할 수 있다. 그러나 가우시안 사전은 다중모드, 비선형 구조 등 복잡한 사전 지식을 표현하지 못한다는 한계가 있다. 이를 극복하기 위해 저자들은 확산 모델을 사전으로 채택한다. 확산 모델은 고차원 데이터의 복잡한 분포를 단계별 노이즈 주입과 역과정을 통해 학습하는 점진적 생성 모델이며, 최근 이미지·음성 분야에서 뛰어난 성능을 보였다.

핵심 아이디어는 역확산 과정의 각 타임스텝 t에서 “조건부 포스터리어” p(s_{t‑1}|s_t, h)를 라플라스 근사를 이용해 가우시안 형태로 근사하는 것이다. 구체적으로, 사전 p(s_{t‑1}|s_t)와 관측가능한 데이터 h에 대한 likelihood p(h|s_0)를 결합해 p(s_{t‑1}|s_t, h)∝∫p(h|s_0)p(s_0|s_{t‑1})ds_0 를 근사한다. 여기서 저자들은 중요한 가정(식 6)을 도입한다. 즉, s_0≈s_t/√{ᾱ_t} 라는 전방 확산 관계를 이용해 s_0를 s_t의 선형 변환으로 치환함으로써 적분을 닫힌 형태로 변환한다. 이 가정은 t가 작아질수록(역과정이 진행될수록) 정확도가 높아지며, 실제 실험에서도 충분히 타당함이 확인된다.

선형 모델에서는 사전과 증거가 각각 가우시안으로 표현되므로, 조건부 포스터리어는 두 가우시안의 곱으로 정확히 계산된다(정리 2). GLM의 경우 비선형 평균 함수 g를 포함하지만, 라플라스 근사를 통해 동일한 구조를 유지한다(정리 4). 이때 IRLS(Iteratively Reweighted Least Squares) 알고리즘을 이용해 MAP 추정값과 헤시안(또는 근사 공분산)을 효율적으로 구한다.

이론적 측면에서 저자들은 정리 3을 통해 제안된 근사가 점근적으로 일관함을 증명한다. 즉, 관측 수 N→∞일 때 조건부 포스터리어는 스케일된 진정 파라미터 θ*에 수렴한다. 증명은 T 단계의 종속 랜덤 벡터 체인에 대한 복잡한 확률적 수렴 분석을 포함하며, 특히 “깨끗한 샘플을 확산된 샘플로 스케일링한다”는 근사(식 6)의 정확성을 핵심으로 삼는다.

실험에서는 다양한 컨텍스트 밴딧 시나리오(선형, 로지스틱, 복합 피처)에서 기존 가우시안 사전 기반 TS, 점수 기반 확산 사후 샘플링, 그리고 제안된 LaplaceDPS를 비교한다. 결과는 LaplaceDPS가 탐색 효율성을 크게 향상시켜 누적 보상에서 515% 정도의 개선을 보이며, 특히 다중모드 사전이 필요한 상황에서 기존 방법이 수렴하지 못하는 반면 안정적으로 동작함을 보여준다. 또한 계산 비용은 역확산 단계 T배 만큼 증가하지만, T을 1020 정도로 제한해도 충분히 실시간 요구를 만족한다.

요약하면, 이 논문은 확산 모델이라는 강력한 비가우시안 사전을 TS에 통합함으로써 복잡한 사전 지식을 활용한 효율적인 포스터리어 샘플링 방법을 제시한다. 라플라스 근사와 역확산 체인을 결합한 설계는 이론적 일관성과 실험적 우수성을 동시에 확보한다는 점에서, 미래의 베이지안 강화학습·밴딧 연구에 중요한 방향성을 제공한다.