사전학습 PFN에서 스펙트럼 커널을 즉시 추출하는 새로운 프레임워크

초록

본 논문은 사전학습된 Prior‑Data Fitted Network(PFN)의 내부 표현을 분석하여, 주목(attention) 레이어가 암묵적으로 학습한 스펙트럼 밀도를 명시적인 형태로 디코딩하는 방법을 제시한다. 디코더를 통해 얻은 스펙트럼은 Bochner 정리를 이용해 정적 커널로 변환되며, 단일 전방 패스로 Gaussian Process 회귀와 최적화 기반 베이스라인에 필적하는 정확도를 달성하면서 추론 시간을 크게 단축한다.

상세 분석

논문은 먼저 PFN이 Decoupled‑Value Attention(DVA) 구조를 사용함에 따라 입력(키·쿼리)과 출력(밸류)이 명확히 분리된다는 점을 강조한다. 이 설계는 어텐션 가중치가 입력 좌표 간 거리 함수와 동일시될 수 있게 만들어, 실제로는 이동 불변 커널 K(x‑x′)와 동등한 필터링 역할을 수행한다. 실험적으로 t‑SNE 시각화를 통해 H(잠재 어텐션 출력)와 V(밸류 임베딩)의 구조적 차이를 확인했는데, H는 주파수와 높은 상관관계(ρ≈0.86)를 보이며 스펙트럼 정보를 압축한다. 반면 V는 약한 상관관계(ρ≈0.19)만을 보여 진폭 정보에 국한된다. 이러한 결과는 어텐션 메커니즘이 입력 공간에서의 주파수 성분을 집계하고, MLP 레이어가 비선형 정류(rectification)를 통해 스펙트럼 파워를 강조한다는 가설을 뒷받침한다.

다음으로 저자들은 H가 단일 주파수 성분을 거의 완벽히 복원(R²≈0.998)하지만, 여러 피크가 겹치는 경우 평균 풀링(mean‑pooling)만으로는 스펙트럼 가중치(진폭 비율)를 정확히 추정하지 못한다는 한계를 발견한다. 이를 해결하기 위해 Multi‑Query Attention Pooling을 도입해 서로 다른 오프셋에서 H를 여러 번 샘플링하고, 이를 디코더에 입력함으로써 복합 스펙트럼을 분리한다. 이 과정에서 디코더는 H를 입력받아 비음수 스펙트럼 밀도 S(ω)를 출력하도록 설계되었으며, Bochner 정리를 적용해 k(τ)=∫S(ω)e^{iωτ}dω 형태의 정적 커널을 얻는다.

이론적으로 저자는 단일 실현(single‑realization) 상황에서는 스펙트럼 위치(주파수)는 식별 가능하지만 전체 스케일(가중치)은 비식별임을 증명한다. 반면 다중 실현(multi‑realization)에서는 독립적인 함수 샘플이 제공되므로 전체 스펙트럼, 포함한 가중치까지 일관된 추정이 가능함을 보인다. 또한, 제안된 디코더가 사전학습된 PFN 파라미터를 고정한 채(즉, 가중치 업데이트 없이) 동작함을 강조해, 완전한 ‘zero‑shot’ 스펙트럼 추론 엔진으로서의 실용성을 부각시킨다.

마지막으로 실험에서는 복잡한 다중 피크 스펙트럼 혼합을 포함한 다양한 합성 및 실제 데이터셋에 대해, 디코더 기반 커널이 Deep Kernel Learning, Random Fourier Features, 기존 최적화 기반 방법들과 비교해 회귀 RMSE와 로그가능도에서 동등하거나 약간 우수한 성능을 보였으며, 추론 시간은 수십 배에서 수백 배까지 감소했다. 이는 PFN이 내부에 이미 풍부한 커널 정보를 보유하고 있음을 실증적으로 확인한 결과이며, 향후 과학적 발견이나 서베이어 기반 최적화와 같이 명시적 커널이 요구되는 분야에 즉시 적용 가능함을 시사한다.