빅데이터를 위한 병렬 가우시안 프로세스 회귀: 저차원 표현과 마코프 근사의 융합

가우시안 프로세스(GP)는 베이지안 비모수 회귀 모델로, 입력에 대한 확률적 예측과 불확실성 추정이 가능하다는 장점이 있다. 그러나 전체 공분산 행렬을 직접 다루어야 하는 전통적인 전치 GP(FGP)는 O(|D|³) 시간·O(|D|²) 메모리 복잡도로 인해 데이터 포인트 수가 수천을 넘어가면 실용적이지 않다. 이를 해결하기 위해 기존 연구는 크게 두 갈래로 나뉜다. 첫 번째는 전체 공분산을 저차원(저랭크) 근사로 압축하는 방법이다. 대표적으로는 지원 집합 S를 선택해 Q = Σ_{XS} Σ_{SS}^{-1} Σ_{SX} 형태로 근사하는 방식이며, S의 크기 m에 따라 복잡도가 O(m³)로 감소한다. 하지만 m이 작으면 고주파(짧은 거리) 변동을 포착하지 못해 정확도가 떨어진다. 두 번째는 지역화(local GP) 혹은 공분산 테이퍼링을 통해 공분산 행렬을 희소하게 만드는 방법이다. 이는 인접한 데이터만을 사용해 예측을 수행하므로 계산량이 적지만, 데이터가 희박한 영역에서는 예측이 부정확해진다. 본 논문은 이러한 두 접근법의 장점을 결합하면서도 각각의 한계를 보완하는 새로운 방법인 Low‑Rank‑cum‑Markov Approximation(LMA)를 제안한다. 핵심 아이디어는 전체 공분산 Σ_{VV} (V = D ∪ U)를 저차원 근사 Q_{VV}와 잔차 공분산 R_{VV}로 분해하는 것이다. Q_{VV}는 지원 집합 S에 기반한 저랭크 근사이며, R_{VV}는 Q_{VV}가 설명하지 못하는 고주파 성분을 담는다. 기존 희소 GP는 R_{VV} 자체를 희소 행렬로 근사했지만, 이는 지원 집합 S에 대한 강한 조건부 독립성 가정을 내포한다. LMA는 잔차 과정 eY_x = Y_x – Ŷ_x에 대해 B차 마코프 의존성을 가정한다. 즉, 데이터 집합 D를 M개의 블록 D₁,…,D_M으로 균등하게 나눈 뒤, |m−n|>B이면 D_m과 D_n이 S와 그 사이 블록들을 조건으로 독립한다는 의미다. 이 가정은 B가 커질수록 완화되며, B = 0이면 기존의 부분 독립 조건(PIC)과 동일하고, B = M−1이면 전치 GP와 동일해진다. 마코프 가정의 수학적 결과는 R_{DD}^{-1}이 B‑블록 밴드 구조를 갖는다는 점이다. 블록‑밴드 행렬은 역행렬이 동일한 밴드 구조를 유지하므로, 행렬 연산 비용이 O(M·B³)로 크게 감소한다. 저자는 또한 KL 발산을 최소화하는 최적 근사 R̄_{DD}를 정의하고, 제시된 B‑블록 밴드 제약 하에서 R̄_{DD}가 실제 R_{DD}와 가장 가깝다는 정리를 증명한다. 이는 제안된 근사가 단순히 계산 편의를 위한 것이 아니라, 확률적 의미에서도 최적임을 보장한다. 병렬 구현은 각 블록 D_m을 독립적인 작업 단위로 할당함으로써 자연스럽게 이루어진다. 각 워커는 로컬 요약(˙y_m, ˙R_m, ˙Σ_mS, ˙Σ_mU)을 계산하고 마스터 노드에 전송한다. 마스터는 모든 로컬 요약을 집계해 전역 요약(¨y_S, ¨y_U, ¨Σ_SS, ¨Σ_US, ¨Σ_UU)을 만든 뒤, 이를 다시 각 워커에게 전달한다. 워커는 전역 요약을 이용해 자신이 담당한 예측 집합 U_m에 대한 평균과 공분산을 최종적으로 계산한다. 이 과정에서 필요한 Σ_{D_mU}와 Σ_{D_{B_m}U} 등도 블록 구조 덕분에 병렬화가 가능하다. 실험에서는 세 개의 실제 데이터셋(교통 흐름, 해양 센서, 대규모 회귀)에서 LMA와 기존 희소 GP(FITC, VFE, PIC) 및 전치 GP를 비교하였다. 클러스터는 최대 32개의 노드(MPI 기반)로 구성했으며, 지원 집합 크기 |S|를 50~200, 마코프 차수 B를 0~5로 변동시켰다. 결과는 다음과 같다. (1) 실행 시간: LMA는 B=2~3일 때 평균 10배 이상 빠른 속도를 보였으며, 특히 데이터가 100만 포인트를 초과하는 경우에도 메모리 초과 없이 실행됐다. (2) 예측 정확도: 평균 절대 오차와 평균 제곱 오차는 기존 희소 GP와 거의 동일하거나 약간 우수했으며, B를 증가시킬수록 고주파 변동을 더 잘 포착해 정확도가 소폭 상승했다. (3) 확장성: 노드 수를 2배 늘릴 때 거의 선형적인 속도 향상이 관측되었으며, 통신 오버헤드는 전체 실행 시간의 5% 미만에 머물렀다. 결론적으로, LMA는 (i) 저차원 근사와 마코프 잔차 근사의 결합으로 계산 복잡도를 크게 낮추고, (ii) KL 최적성을 통해 근사의 질을 보장하며, (iii) 블록‑밴드 구조를 활용한 자연스러운 병렬화 메커니즘을 제공한다. 이는 대규모 실시간 예측이 요구되는 환경(예: 교통 모니터링, 해양 관측, 대규모 센서 네트워크)에서 GP 모델을 실제로 적용할 수 있게 하는 중요한 진전이다.