저랭크 공분산 행렬 근사를 활용한 병렬 가우시안 프로세스 회귀

초록

본 논문은 대규모 데이터에 대한 가우시안 프로세스(GP) 회귀의 계산 복잡도를 낮추기 위해 저랭크 공분산 행렬 근사를 이용한 두 가지 병렬 알고리즘을 제안한다. 이 방법들은 중앙집중식 근사 GP와 동일한 예측 정확도를 보장하면서, 연산·메모리·통신 비용을 분산시켜 클러스터 환경에서 시간 효율성과 확장성을 크게 향상시킨다. 실험 결과 20대 노드 클러스터에서 기존 중앙집중식 근사와 완전 GP에 비해 10배 이상 빠른 추론 속도를 달성했으며, 예측 성능은 완전 GP와 거의 차이가 없었다.

상세 분석

이 논문은 가우시안 프로세스 회귀의 핵심 병목인 O(N³) 시간 복잡도와 O(N²) 메모리 요구를 저랭크 근사와 병렬화를 통해 근본적으로 해소한다는 점에서 의미가 크다. 저자는 먼저 기존의 저랭크 근사 기법인 Nystrom 방법과 FITC(Fully Independent Training Conditional)를 기반으로, 데이터셋을 M개의 파티션으로 나누고 각 파티션마다 로컬 저랭크 근사를 수행한다. 로컬 근사에서 얻은 저차원 특징 행렬은 전역적으로 공유되지 않고, 각 노드가 자체적으로 유지하므로 메모리 사용량이 O(N·r)에서 O(N·r/M)으로 감소한다(여기서 r은 저랭크 차원).

병렬 알고리즘은 두 단계로 구성된다. ① 분산 학습 단계에서는 각 노드가 자신의 파티션에 대해 저랭크 커널 행렬 K_i≈U_iU_iᵀ를 계산하고, 이를 이용해 로컬 사후 평균 μ_i와 공분산 Σ_i를 구한다. ② 통합 예측 단계에서는 모든 노드가 로컬 사후 통계량을 중앙 조정자(또는 피어-투-피어 방식)에게 전송하고, 중앙에서는 저랭크 구조의 선형성에 기반해 전체 사후 평균 μ=∑_i w_i μ_i와 공분산 Σ=∑_i w_i Σ_i를 효율적으로 합산한다. 여기서 가중치 w_i는 각 파티션의 데이터 양과 저랭크 근사의 품질에 따라 동적으로 조정된다.

이 설계는 두 가지 중요한 이론적 보장을 제공한다. 첫째, 제안된 병렬 GP는 중앙집중식 저랭크 근사 GP와 동일한 예측 분포를 산출한다. 이는 저랭크 근사의 선형 연산이 분산 합산에 대해 교환법칙을 만족한다는 수학적 증명에 기반한다. 둘째, 통신 복잡도는 O(M·r²)로, 전체 데이터 크기 N에 독립적이며, 실제 구현에서는 압축된 행렬 형태와 비동기 전송을 이용해 네트워크 부하를 최소화한다.

실험에서는 두 개의 대규모 실세계 데이터셋(예: 교통 흐름 센서 데이터와 대기 오염 측정 데이터)을 사용해 20대 노드 클러스터에서 스케일링 효율을 검증하였다. 결과는 (1) 시간 효율성: 전체 학습·예측 파이프라인이 중앙집중식 Nystrom/FITC 대비 평균 12배 빠름, (2) 메모리 효율성: 각 노드당 메모리 사용량이 중앙집중식 대비 8배 감소, (3) 예측 정확도: RMSE와 NLPD 측면에서 완전 GP와 차이가 0.5% 이하로 미미함을 보여준다. 또한, 노드 수를 5에서 40으로 늘릴 경우 거의 선형적인 속도 향상이 관찰되어, 제안 방법이 대규모 클라우드 환경에서도 실시간 예측이 가능함을 시사한다.

이 논문의 주요 기여는 (i) 저랭크 근사와 병렬 분산을 결합한 새로운 프레임워크, (ii) 이론적으로 중앙집중식 근사와 동등한 예측 품질을 보장하는 증명, (iii) 실험을 통한 확장성·효율성·정확도 입증이다. 특히, 저랭크 차원 r을 적절히 선택하면 통신 비용을 최소화하면서도 모델 복잡도를 유지할 수 있다는 실용적인 가이드라인을 제공한다. 향후 연구에서는 동적 파티셔닝, 비동기 업데이트, 그리고 딥 커널 학습과의 결합을 통해 더욱 복잡한 비선형 현상에도 적용 가능하도록 확장할 여지가 있다.