신경망에서 추론과 메타학습 사전의 효율적 아모티제이션

초록

본 논문은 다수의 데이터셋으로부터 가중치 사전(prior)을 메타학습하고, 각 데이터셋에 대해 아모티제이션된 변분 추론을 수행하는 새로운 프레임워크인 Bayesian Neural Network Process(BNNP)를 제안한다. BNNP는 가중치를 잠재 변수로 갖는 Neural Process 형태이며, 레이어별 가우시안 사전과 pseudo‑likelihood를 이용해 정확한 베이지안 선형 회귀 형태의 후방분포를 닫힌 형태로 계산한다. 이를 통해 사전의 품질을 학습하고, within‑task 미니배칭, 사전 유연성 조절 등 기존 Neural Process에서는 어려웠던 기능을 제공한다.

상세 분석

이 논문은 베이지안 딥러닝에서 가장 난제인 “적절한 사전 선택” 문제를 메타학습과 결합해 해결하고자 한다. 핵심 아이디어는 여러 관련 태스크(데이터셋)에서 공유되는 구조적 정보를 이용해 가중치 사전을 학습하고, 각 태스크마다 아모티제이션된 변분 추론을 수행하는 것이다. 이를 위해 저자들은 레이어별 가우시안 사전 pψℓ(Wℓ)=∏dN(wℓd;μℓd,Σℓd)와 pseudo‑likelihood p(Yℓ|Xℓ−1,Wℓ) 를 정의한다. pseudo‑likelihood의 파라미터 (yℓn,d,σℓn,d) 는 입력‑출력 쌍 (x_n, y_n) 을 인코딩하는 inference network gθℓ 로부터 얻는다. 이렇게 하면 각 레이어의 사후 q(Wℓ|W1:ℓ−1,D) 가 베이지안 선형 회귀와 동일한 형태로 닫힌 해를 갖게 되며, 식 (5)–(7) 에서 구체적으로 제시된다. 레이어를 순차적으로 쌓아 전체 네트워크에 대한 변분 사후 q(W|D)=∏ℓq(Wℓ|W1:ℓ−1,D) 를 구성한다.

BNNP는 잠재 변수가 실제 BNN의 가중치 집합인 Neural Process 로 해석될 수 있다. 따라서 사전(posterior)와 디코더(네트워크 자체)가 명시적으로 존재한다는 점에서 기존 NP와 차별화된다. 학습 목표는 PP‑AV I (Posterior‑Predictive Amortised Variational Inference) 로, 두 개의 항을 결합한다. 첫 번째는 컨텍스트와 타깃을 구분한 후 타깃에 대한 로그 사후 예측밀도이며, 이는 NP에서 흔히 사용되는 예측 중심 손실이다. 두 번째는 전통적인 ELBO 로, 베이지안 추론의 정확성을 보장한다. 이 두 항을 동시에 최적화함으로써 (I) 정확한 사후 근사, (II) 데이터 생성 과정을 반영하는 사전, (III) 고품질 예측이라는 세 가지 desiderata 를 만족한다는 이론적 보장을 제공한다.

또한 저자들은 within‑task 미니배칭을 제안한다. 전체 컨텍스트를 메모리에 보관하지 않고, 순차적 베이지안 업데이트를 통해 미니배치 단위로 레이어 사후를 갱신한다. 이는 메모리 사용량을 크게 줄이면서도 최종 사후는 전체 배치와 동일하게 만든다. 더불어 사전의 유연성을 조절하기 위해 일부 레이어의 사전 파라미터를 고정하고 나머지만 학습하는 방법을 제시한다. 이렇게 하면 메타데이터가 부족한 상황에서도 과적합을 방지하고 일반화 성능을 향상시킬 수 있다.

마지막으로, 어텐션 기반 인코더와 디코더를 확장하는 두 가지 방향을 논의한다. 어텐션 인코더는 컨텍스트 간 상호작용을 모델링해 pseudo‑likelihood 추정에 도움이 되지만 O(n_c^2) 복잡도가 추가된다. 디코더에 어텐션 블록을 적용하면 각 타깃이 다른 타깃에 의존하게 되어 stochastic process의 일관성을 깨뜨리므로, 이를 BNAM(Bayesian Neural Attentive Machine)이라 부르고 일관성이 없는 모델로 분류한다. 이러한 확장 가능성은 BNNP가 다양한 아키텍처에 적용될 수 있음을 시사한다.

전반적으로 이 논문은 베이지안 신경망의 사전 학습과 추론을 메타러닝 프레임워크 안에서 통합함으로써, 기존 GP‑기반 사전의 한계를 넘어서는 유연하고 확장 가능한 방법을 제시한다.