분산 가우시안 프로세스 최적 가중치 기반 집계 모델

초록

본 논문은 분산 학습 환경에서 여러 GP 전문가들의 예측을 효율적으로 결합하기 위해 최적 가중치(OptiCom)를 적용한 새로운 집계 기법을 제안한다. 정확 GP와 희소 변분 GP 모두에 적용 가능하며, 전문가 간 상관관계를 반영해 일관된 예측을 제공하면서도 기존 일관성 보장 모델보다 계산량을 크게 줄인다. 실험 결과, 제안 방법이 예측 정확도와 안정성에서 우수함을 확인하였다.

상세 분석

본 연구는 대규모 데이터셋에 대한 가우시안 프로세스(GP) 모델의 확장성을 향상시키기 위해, 분산 학습 환경에서 전문가(노드)들의 예측을 최적 가중치로 결합하는 새로운 집계 프레임워크를 제시한다. 핵심 아이디어는 기존의 조합 기법(Combination Technique, CT)을 일반화한 최적 조합 기법(Optimized Combination, OptiCom)을 GP 예측에 적용함으로써, 각 전문가의 평균과 분산뿐 아니라 전문가 간 공분산까지 고려한 가중치를 자동으로 도출한다는 점이다.

먼저, 논문은 GP 회귀의 기본 수식과 하이퍼파라미터 학습을 정리하고, 희소 변분 GP(SVGP)의 inducing point 기법을 통해 O(n³) → O(nm²) 로 복잡도를 낮추는 과정을 설명한다. 이후 데이터 파티셔닝을 통해 M개의 전문가가 각각 로컬 데이터를 학습하고, 기존의 PoE, gPoE, BCM, rBCM, grBCM, NP‑AE 등 다양한 집계 방법을 리뷰한다. 이들 중 PoE·BCM 계열은 계산이 빠르지만 전문가 독립성을 가정해 일관성이 결여되고, NP‑AE는 전체 공분산 행렬을 사용해 일관성을 보장하지만 O(M³) 의 비용이 발생한다는 한계를 지적한다.

제안된 OptiCom 기반 집계는 각 전문가의 예측을 함수 공간상의 투영으로 해석하고, 투영들 간의 내적⟨P_i f, P_j f⟩ 를 이용해 가중치 벡터 c 를 최소 제곱 문제로 정의한다. 이 선형 시스템을 풀면 전문가 간 상관관계를 정량화한 최적 가중치가 얻어지며, 이를 통해 전체 예측 평균 μ_A 와 정밀도 σ_A⁻² 를 다음과 같이 계산한다: μ_A = σ_A² Σ_i c_i σ_i⁻² μ_i , σ_A⁻² = Σ_i c_i σ_i⁻² + (1‑Σ_i c_i) σ_⁻² . 여기서 σ_⁻² 은 사전 정밀도이며, 기존 BCM 계열에서 사용되는 고정 β_i 대신 데이터‑드리븐 c_i 를 적용한다.

계산 복잡도 측면에서, OptiCom 은 전문가 수 M 에 대해 O(M²) 의 행렬 연산만 필요하므로 NP‑AE 의 O(M³) 보다 훨씬 효율적이다. 또한, 각 전문가가 SVGP 로 사전 압축된 상태이므로 전체 복잡도는 O(nm²/M) + O(M²) 로, 대규모 데이터와 다수 전문가 환경 모두에서 실용적이다.

실험에서는 합성 데이터와 UCI 회귀 베치, 그리고 대규모 이미지 특징 데이터셋을 사용해 기존 grBCM·NP‑AE·rBCM 과 비교하였다. 결과는 제안 방법이 예측 RMSE 와 NLL 면에서 일관성을 유지하면서도 평균 30%~45% 정도의 시간 절감을 달성함을 보여준다. 특히 전문가 수가 증가할수록 OptiCom 의 가중치가 자동으로 조정되어 과적합을 방지하고, 예측 분산이 과소·과대 평가되는 현상을 최소화한다.

결론적으로, 본 논문은 GP 분산 학습에서 전문가 간 상관관계를 효율적으로 활용하는 최적 가중치 기반 집계 모델을 제시함으로써, 정확도·일관성·계산 효율성이라는 세 축을 모두 만족하는 새로운 패러다임을 제공한다.