“보편적 사전분포와 사전학습 트랜스포머: 경험적 베이즈 문제를 베이즈 추론으로 해결한다”
📝 Abstract
We theoretically justify the recent empirical finding of [Teh et al., 2025] that a transformer pretrained on synthetically generated data achieves strong performance on empirical Bayes (EB) problems. We take an indirect approach to this question: rather than analyzing the model architecture or training dynamics, we ask why a pretrained Bayes estimator, trained under a prespecified training distribution, can adapt to arbitrary test distributions. Focusing on Poisson EB problems, we identify the existence of universal priors such that training under these priors yields a near-optimal regret bound of $\widetilde{O}(\frac{1}{n})$ uniformly over all test distributions. Our analysis leverages the classical phenomenon of posterior contraction in Bayesian statistics, showing that the pretrained transformer adapts to unknown test distributions precisely through posterior contraction. This perspective also explains the phenomenon of length generalization, in which the test sequence length exceeds the training length, as the model performs Bayesian inference using a generalized posterior.
💡 Analysis
**
1. 연구 배경 및 문제 정의
- 경험적 베이즈(EB): 관측값 (X_i\sim\text{Poi}(\theta_i)) 와 숨은 파라미터 (\theta_i) 가 동일한 사전 (G_0) 로부터 i.i.d. 추출될 때, 실제 사전 (G_0) 를 알지 못하므로 베이즈 추정기 (\theta_{G_0}(X_i)=\mathbb{E}_{G_0}
📄 Content
포아송 모델에서의 경험적 베이즈(EB) 문제
θ₁,…,θₙ 은 [0, A] 구간에 지지되는 알 수 없는 사전분포 G₀ 로부터 i.i.d. 로 추출된다고 가정한다. 관측값 Xₙ 은 조건부 독립이며, 주어진 θₙ 에 대해 Xᵢ∼Poi(θᵢ) 를 따른다. 여기서는 A 의 값은 알려져 있다고 가정하지만, 사전분포 G₀ 에 대해서는 연속성이나 매끄러움 같은 어떠한 제약도 두지 않는다. 경험적 베이즈의 목표는 모든 문제 인스턴스에 대해 거의 최적에 가까운 추정량 θ̂ₙ=θ̂ₙ(Xₙ) 을 제시하는 것이다. 즉, G₀ 를 완벽히 알 때 얻을 수 있는 베이즈 추정량과 비교했을 때 경쟁력 있는 성능을 달성하는 것이 목표다. 경험적 베이즈에서 추정량의 성능을 정량화하는 표준 개념은 **레짐(regret)**이며, 이는 초과 평균제곱오차(MSE)
[ \operatorname{Regret}(\hat\theta_n)=\bigl|\hat\theta_n-\theta_{G_0}(X_n)\bigr|_2^2 ]
으로 정의된다. 여기서
[ \theta_{G_0}(X_i)=\mathbb{E}_{G_0}\bigl[\theta_i\mid X_i\bigr] ]
는 사전 G₀ 를 알고 있을 때의 베이즈 추정량(사후 평균)이며, (\theta_{G_0}(X_n)=(\theta_{G_0}(X_1),\dots,\theta_{G_0}(X_n))) 로 표기한다. 레짐이 (o(1)) 로 작아진다는 것은, 합법적인 추정량 (\hat\theta_n) 이 베이즈 위험을 점근적으로 달성할 수 있음을 의미한다. 고전적인 통계 추정량(예: MLE)과 비교했을 때, 경험적 베이즈 추정량은 인스턴스별 보장과 사전 구조에 대한 암묵적 적응 덕분에 실험적으로 훨씬 좋은 성능을 보인다[Rob51, Rob56, JZ09, HNWSW25].
문헌에는 경험적 베이즈 문제를 해결하는 여러 방법이 제시되어 있다. 포아송 EB 모델에 특화하면, 가장 초기의 예는 Robbins 추정량으로, f‑모델링(베이즈 추정량 (\theta_{G_0}(X)) 의 형태를 모방) 방식에 기반한다. 보다 수치적으로 안정적인 방법은 g‑모델링으로, 데이터로부터 사전을 학습한 뒤 학습된 사전 하에서 베이즈 추정량을 사용한다. 사전 학습의 대표적인 예는 비모수 최대우도(NPMLE)와 최소거리 추정량들의 넓은 클래스[JPW25, VKWL21]이다. 최근에는 경험적 위험 최소화(ERM) 가 제안되었으며, 이는 적절히 구성된 손실 함수를 Xₙ 에 대해 최소화하는 방식으로, 함수 클래스가 적절히 선택될 때 좋은 이론적 보장을 제공한다[BZ22, JPTW23].
사전 학습된 추정량을 이용한 새로운 접근
최근 연구[TJP25]는 사전 학습(pretrained) 추정량을 이용해 경험적 베이즈 문제를 해결하는 새로운 전략을 제안한다. 기존 ERM 접근법은 각 샘플 Xₙ 에 대해 별도의 모델을 학습해야 하는 반면, 사전 학습된 모델은 대규모의 적절히 생성된 학습 데이터 풀에서 함수 (\theta_n(\cdot)) 를 학습한다. 이렇게 하면 테스트 시점에 (\theta_n(\cdot)) 를 바로 Xₙ 에 적용함으로써 매우 빠른 추론이 가능해진다. 이 전략은 TabPFN[HMEH23, HMP+25] 의 성공에 영감을 받았으며, 다양한 범주형 데이터셋에 대해 하나의 사전 학습된 모델을 적용하는 방식과 유사하다. 따라서 비용 상쇄(cost amortization) 라는 목표를 달성하게 되며, 이는 암묵적 추론(amortized inference) 과도 일맥상통한다[ZMSDH25]. 실제로[TJP25] 에서는 포아송‑EB 문제에 대해 잘 학습된 트랜스포머가 최첨단 NPMLE 기반 추정량보다 훨씬 짧은 추론 시간에 더 나은 성능을 보인다는 실험 결과가 보고되었다.
본 논문에서는[TJP25] 의 접근법을 더 깊이 탐구하고, 왜 사전 학습된 추정량이 경험적 베이즈 문제를 해결할 수 있는가 라는 근본적인 질문에 답한다. 구체적으로, 사전 지정된 학습 분포 하에서 훈련된 베이즈 추정량이 모든 가능한 테스트 분포에 적응할 수 있는 이유를 설명한다. 여기서 우리는 이러한 학습 분포를 보편적 사전(universal prior) 라고 부른다. 직관적으로 보편적 사전은 매우 정교하게 설계되어야 할 것처럼 보이지만, 실제로는 그렇지 않다. 구체적인 예시로 알고리즘 1을 제시한다. 이 알고리즘은 각 학습 배치마다 (k=O(\log n)) 개의 위치를 ([0,A]) 에서 균등하게 선택하고, 확률 단순체 위에 균등 가중치 벡터를 할당한다. 같은 배치 안에서 파라미터 (\theta_n) 은
[ \theta_n \sim \bigl(\sum_{j=1}^{k} w_j ,\delta_{\lambda_j}\bigr)^{\otimes n} ]
와 같이 i.i.d. 로 추출된다. 이 사전으로 학습된 사전 학습 추정량 (\hat\theta_n) 의 성능은 다음 정리에서 요약된다.
정리 1.1
(M\to\infty) 로 가정하고, 학습 절차가 (ERM) 의 전역 최소점을 찾는다고 하자. 충분히 큰 하이퍼파라미터 (c_0>0) 에 대해, 알고리즘 1 로 얻은 사전 학습 추정량 (\hat\theta_n) 은
[ \operatorname{Regret}(\hat\theta_n);\le; \frac{C(A,c_0)}{n}\bigl(\log n;\log\log n\bigr)^2 ]
을 만족한다. 여기서 (C=C(A,c_0)) 는 A 와 (c_0) 에만 의존하는 절대 상수이다.
정리 1.1에 대한 몇 가지 논평
레짐 경계는 거의 최적이다. A 가 상수 수준((\Theta(1)))일 때, [PW21, Theorem 2] 에서는 최소극대 레짐이 (\Theta\bigl(\frac{1}{n}(\log n\log\log n)^2\bigr)) 라는 것이 알려져 있다. 따라서 정리 1.1 은 사전 학습 추정량이 베이즈 프레임워크 안에서 구성되었음에도 불구하고, 최악의 경우에도 (log n) 정도만 손실을 보이며 거의 최적의 빈도주의 보장을 제공함을 의미한다.
보편적 사전은 매우 단순하지만 고차원 i.i.d. 사전들의 혼합이다. 수학적으로는 알고리즘 1 에서 사용된 무작위 pmf
[ G=\sum_{j=1}^{k} w_j,\delta_{\lambda_j} ]
를 두고, 최종 학습 사전은 (\Pi:=\mathbb{E}[G^{\otimes n}]) 로 정의한다. 전역 ERM 최소점은
[ \hat\theta_n(x_1,\dots,x_n)=\mathbb{E}_{\Pi}\bigl[\theta_1\mid X_n=x_1,\dots,x_n\bigr] ]
와 같이 고차원 조건부 기대값으로 표현될 수 있다. 중요한 점은 이 기대값이 전체 관측 (X_n) 에 의존한다는 것이다(즉, (\theta_1) 은 (X_1) 뿐 아니라 전체 시퀀스에 의존한다). 이러한 기대값을 고전적으로 계산하기는 어려우므로, 우리는 트랜스포머를 이용해 이 시퀀스‑투‑시퀀스 매핑을 근사한다.
블랙박스 가정: 우리는 트랜스포머가 학습 사전 (\Pi) 에 대한 베이즈 추정량을 충분히 잘 근사할 수 있다는 핵심 가정만을 두고 분석한다. 이는 실제 실험에서 수치적으로 검증된다(섹션 4). 트랜스포머는 위치 인코딩이나 마스킹 없이도 시퀀스‑투‑시퀀스 매핑에 대한 표현력이 뛰어나며[TJP25, Theorem 4.1, 4.2]와 같은 결과가 이를 뒷받침한다. 또한, 트랜스포머는 임의의 시퀀스 길이를 받아들일 수 있고, 순열 불변성을 갖는다(섹션 3.1 참고). 베이즈 추정량 (\mathbb{E}_{\Pi}[\theta_1\mid X_n]) 역시 순열 불변성을 가지므로, 트랜스포머와 구조적으로 잘 맞는다.
무한 배치 가정: 정리 1.1 은 (M\to\infty) 를 전제한다. 실제로는 섹션 3.1 에서 이 가정을 완화하고 동일한 레짐 경계를 얻는다. 다만, 그 경우에도 배치 수 (M) 은 (n) 에 대해 초다항식(super‑polynomial) 으로 증가해야 하며, 이는 실무에서 대규모 데이터가 필요하다는 관찰과 일치한다.
왜 사전 학습 모델이 EB 문제를 해결할 수 있는가?
고차원 의존 사전은 테스트 시점에 관측 (X_n) 에 베이즈 규칙을 적용함으로써(즉, 사후 수축(posterior contraction) 현상) 거의 모든 i.i.d. 사전에 적응할 수 있다. 트랜스포머는 이러한 고차원 조건부 기대값을 근사하는 강력한 계산 도구 역할을 한다. 알고리즘 1 에서 사용된 무작위 pmf 의 구체적인 형태는 핵심이 아니다; Assumption 1 에서 보듯이 대부분의 “사전‑위‑사전(prior‑on‑prior, PoP)” 은 보편적(universal) 으로 작용한다.
알고리즘 1 은 어떤 학습 사전이라도 적용 가능하다. 예를 들어, (\Pi) 를 임의의 사전 분포 (G) 에 대한 사전이라고 하면, 5·6줄을 “(G\sim\Pi) 를 샘플링” 으로 교체하고, 7줄을 “(\theta_n^{(m)}\sim G^{\otimes n})” 로 바꾸면 된다. 전체 구조가 계층적 베이즈 모델이 되므로, 혼동을 피하기 위해 여기서는 원래 EB 프레임워크에서 사용되는 사전 (G_0) 와 구분해 (G) 를 “사전”, (\Pi) 를 “사전‑위‑사전(PoP)” 라고 부른다. 또한
[ p_G(x)=\Pr_{,\theta\sim G}\bigl[X\sim\operatorname{Poi}(\theta)=x\bigr] ]
를 (G) 로부터 파라미터를 뽑아 포아송을 만든 뒤 관측값 (X) 가 (x) 가 되는 주변 pmf 로 쓰겠다.
최소 불리 사전과 보편적 PoP
고전 베이즈 통계학에서 가장 불리한 사전(least favorable prior) 은 최소극대 레짐을 달성한다는 사실이 알려져 있다. 포아송 EB 문제에
이 글은 AI가 자동 번역 및 요약한 내용입니다.