생성 베이지안 연산 기반 확장 가능한 양자화 신경망 서프레이스

본 논문은 가우시안 프로세스(GP) 기반 서프레이스가 직면한 세 가지 구조적 한계—연산 복잡도(O(N³)), 정체성(stationarity) 가정, 그리고 가우시안 형태의 예측 분포—를 동시에 극복하기 위해 Generative Bayesian Computation(GBC)이라는 새로운 프레임워크를 제안한다. GBC는 Implicit Quantile Network(IQN)를 활용하여 입력‑출력 쌍으로부터 전체 조건부 분위수 함수 Qτ(Y|x)를 학습한다. IQN은 분위수 수준 τ를 코사인 임베딩을 통해 연속적인 벡터로 변환하고, 이를 입력 특징 벡터와 요소별 곱을 취해 τ에 따라 동적으로 특징을 조절한다. 이 구조는 단일 네트워크가 모든 τ에 대해 부드러운 함수 형태로 분위수를 출력하도록 하며, 테스트 시 τ 하나당 한 번의 전방 패스로 해당 분위수 수준의 샘플을 즉시 생성한다. 이론적 기반으로는 노이즈 아웃소싱 정리(noise outsourcing theorem)를 이용해 어떤 조건부 분포도 독립적인 균등 난수와 결정론적 함수의 조합으로 표현될 수 있음을 보이고, IQN이 이 함수를 보편적으로 근사함을 제안한다(정리 1, 명제 3). 또한 CRPS 수렴 속도에 대한 분석을 통해, 충분한 데이터와 적절한 손실 가중치가 주어지면 GBC가 실제 분포에 수렴함을 증명한다(명제 4‑5). 학습 손실은 세 가지 항으로 구성된다. 첫 번째는 L1 위치 앵커로, 평균(중위수) 추정이 과도하게 편향되지 않도록 한다. 두 번째는 분위수 순서 보조항으로, τ가 증가함에 따라 예측 분위수가 비단조성을 유지하도록 유도한다. 세 번째는 전통적인 분위수 손실(핀볼 손실)로, 실제 관측값과 예측 분위수 사이의 절대 오차를 최소화한다. 가중치 w1, w2, w3는 문제 특성에 맞게 조정 가능하며, 점프 경계가 뚜렷한 경우 w2를 강화해 순서 보장을 강화한다. 경계 강화 버전인 GBC‑Aug은 EM 기반 레짐 탐지를 사전 단계로 수행하고, 탐지된 레짐 정보를 입력에 추가함으로써 점프 불연속을 명시적으로 모델링한다. 실험 결과, GBC‑Aug은 Modular Jump GP와 동일한 벤치마크에서 46%까지 CRPS를 개선하면서 학습 속도는 26배 빨라졌다. 활성 학습 실험에서는 무작위 사전(Randomized‑Prior) IQN 앙상블을 도입해, 각 모델에 사전 노이즈를 삽입함으로써 불확실성 추정의 다양성을 확보한다. 이 앙상블은 기존 Deep GP 기반 활성 학습(DGP+ALC)보다 약 3배 낮은 RMSE를 기록했으며, 부트스트랩, SNGP, 고정된 앙상블 등 기존 NN 기반 불확실성 방법들이 실패하는 상황에서도 안정적인 획득 함수를 제공한다. 벤치마크는 총 14개로, 1차원부터 10차원까지의 함수, 점프 프로세스, 이질성(heteroskedastic) 데이터, 그리고 실제 시뮬레이션 데이터(Rocket LGBB) 등을 포함한다. 비교 대상은 hetGP, 표준 GP, Modular Jump GP, DGP+ALC 등 네 가지 GP 기반 방법이다. 결과적으로 GBC는 12/14 케이스에서 평균 CRPS를 11%~26% 개선했으며, 특히 고차원·대규모·불연속 데이터에서 두드러진 성능을 보였다. 반면, 부드럽고 작은 데이터셋에서는 잘 튜닝된 GP가 동일하거나 약간 우수한 결과를 보였다. 논문의 주요 기여는 다음과 같다. (1) IQN을 활용한 GBC 프레임워크를 제시해 GP의 세 가지 핵심 제한을 하나의 아키텍처로 해결, (2) 분위수 함수의 보편 근사성을 이론적으로 입증, (3) 손실 설계와 경계 강화 기법을 통해 점프 모델링을 자동화, (4) 무작위 사전 앙상블을 통한 활성 학습에서의 불확실성 추정 개선, (5) 다양한 벤치마크와 다중 복제 실험을 통해 GBC의 강점과 한계를 체계적으로 규명하였다. 향후 연구 방향으로는 다변량 출력에 대한 효율적 요약 통계 설계, 복합적인 시뮬레이터 전방 모델의 자동 생성, 그리고 하이퍼파라미터 자동 튜닝을 위한 메타러닝 기법 적용 등이 제시된다.