보편적 사전분포로 풀어낸 경험적 베이즈와 사전학습

초록

본 논문은 사전학습된 트랜스포머가 경험적 베이즈(EB) 문제에 대해 왜 거의 최적의 성능을 보이는지를 이론적으로 설명한다. 포아송 EB 문제를 중심으로, 모든 테스트 분포에 대해 $\widetilde{O}(1/n)$ 수준의 regret을 보장하는 보편적 사전(prior)의 존재를 증명하고, 사전학습 과정이 posterior contraction 현상을 통해 테스트 분포에 자동 적응함을 보여준다. 또한 길이 일반화 현상을 일반화된 posterior 추론으로 해석한다.

상세 분석

논문은 경험적 베이즈(EB) 설정을 “사전학습된 베이즈 추정기”라는 새로운 관점에서 접근한다. 기존 연구들은 주로 모델 구조나 최적화 역학을 분석했지만, 여기서는 사전학습 단계에서 사용된 훈련 분포와 테스트 시 실제 관측되는 분포 사이의 차이를 어떻게 메우는가에 초점을 맞춘다. 핵심 아이디어는 ‘보편적 사전(prior)’이라는 개념이다. 저자들은 특정한 사전분포를 선택하면, 그 사전분포 하에서 베이즈 추정기가 얻는 사후분포가 다양한 테스트 분포에 대해 빠르게 수축(posteriors contract)한다는 사실을 이용한다. 이때 수축 속도는 샘플 수 n에 대해 $\widetilde{O}(1/n)$ 수준이며, 이는 최소 가능한 regret와 일치한다.

특히 포아송 EB 문제를 모델링하면서, 사전분포를 가우시안 혼합 형태의 무한 차원 과정으로 설정한다. 이 사전은 “보편성”을 갖는데, 이는 어떤 실제 데이터 생성 메커니즘이든 해당 사전의 사후가 거의 동일한 형태로 수렴한다는 의미다. 따라서 트랜스포머가 사전학습 단계에서 이 보편적 사전을 근사하도록 학습되면, 테스트 단계에서는 실제 관측된 데이터에 대해 자동으로 적절한 사후를 형성한다. 이는 전통적인 경험적 베이즈가 사전 파라미터를 추정하는 과정과 동일한 효과를 내지만, 여기서는 사전 자체가 이미 ‘전역 최적’인 형태를 가지고 있기 때문에 별도의 파라미터 튜닝이 필요 없어진다.

또한 논문은 길이 일반화(length generalization)를 일반화된 베이즈 추론으로 설명한다. 훈련 시 사용된 시퀀스 길이 L보다 긴 테스트 시퀀스가 주어져도, 트랜스포머는 사전분포가 정의한 무한 차원 구조를 그대로 활용해 새로운 데이터에 대한 사후를 확장한다. 이는 사전이 “무한히 확장 가능한” 특성을 갖기 때문에 가능한데, 기존의 고정 차원 사전에서는 불가능했던 현상이다.

이러한 이론적 결과는 최근 Teh et al. (2025)의 실험적 관찰—즉, 합성 데이터로 사전학습된 트랜스포머가 다양한 실제 EB 문제에서 뛰어난 성능을 보인다는—을 자연스럽게 설명한다. 보편적 사전의 존재와 posterior contraction 메커니즘을 통해, 사전학습된 모델이 테스트 분포에 대해 ‘자동 적응’한다는 통찰은 앞으로 사전학습 기반 베이즈 추정기의 설계와 응용에 중요한 지침을 제공한다.