베이지안 비모수 공분산 회귀

본 논문은 다변량 회귀 분석에서 공분산 행렬 Σ(x)=cov(y|x)이 예측 변수 x에 따라 어떻게 변할 수 있는지를 다루는 새로운 베이지안 비모수 모델을 제시한다. 기존 연구는 주로 단변량 분산의 예측 변수 의존성을 다루었으며, 다변량 경우에는 로그 공분산, Cholesky 분해 기반 선형 모델, 혹은 Wishart 프로세스와 같은 접근법이 사용되었지만 차원 저주, 파라미터 과다, 계산 복잡도, 결측치 처리의 어려움 등 여러 제한점이 있었다. 저자들은 이러한 문제를 해결하기 위해 공분산을 인수분해 형태인 Σ(x)=Λ(x)Λ(x)ᵀ+Σ₀ 로 표현하고, Λ(x) 자체를 Θ·ξ(x) 로 다시 분해한다. 여기서 ξ(x)∈ℝ^{L×k}는 가우시안 프로세스(GP) 사전으로 정의된 사전 정의 함수들의 행렬이며, Θ∈ℝ^{p×L}는 스파스한 행렬 사전이다. 이중 분해는 두 단계의 차원 축소를 제공한다. 첫 번째 단계는 요인 모델을 통해 p 차원의 공분산을 k 차원의 잠재 요인( k≪p )으로 압축한다. 두 번째 단계는 각 요인 로딩을 L개의 사전 정의 함수들의 선형 결합으로 표현함으로써 L 역시 p보다 훨씬 작게 유지한다. 수식적으로는 y_i = Λ(x_i)η_i + ε_i, η_i∼N_k(0,I_k), ε_i∼N_p(0,Σ₀) 로 가정하고, η_i를 적분하면 Σ(x)=Θ ξ(x) ξ(x)ᵀ Θᵀ + Σ₀ 가 된다. 이 식은 공분산을 “정규화된 2차 형태”로 나타내며, Θ와 ξ(x)의 곱이 공분산 구조를 완전히 결정한다. Lemma 2.1은 L,k≥p이면 임의의 양정정밀 공분산 행렬을 위 형태로 정확히 재현할 수 있음을 증명한다. 따라서 모델은 표현력에서 제한이 없으며, 사전 설계만으로 충분히 다양한 공분산 변화를 포착할 수 있다. 베이지안 사전은 세 부분으로 구성된다. (1) ξ(x)는 독립적인 가우시안 프로세스 ξ_{ℓk}(·)∼GP(0,c) 로 지정하고, c는 제곱 지수 커널을 사용한다. (2) Θ는 스파스 베타-가우시안 혼합 사전(예: 글로벌-로컬 스파스 베타)으로 설정해 대부분의 요소가 0에 가깝게 만든다. 이는 L을 실제 필요보다 크게 잡아도 과잉 파라미터가 자동으로 억제됨을 의미한다. (3) Σ₀는 대각선 행렬이며, 각 대각 원소에 역감마 사전을 부여한다. 추론은 Gibbs 샘플러를 이용해 전형적인 공액 업데이트로 수행된다. GP 사전은 조건부 정규 분포로 업데이트되며, Θ는 스파스 베타 사전 덕분에 메트로폴리스-헤스팅스 없이 직접 샘플링이 가능하다. Σ₀는 역감마 사전과 공액성을 이용해 간단히 갱신된다. 결측치가 존재할 경우, 관측되지 않은 y_i의 차원은 ε_i의 대각선 사전만으로 자연스럽게 통합되므로 별도 보간 절차가 필요하지 않다. 이론적 측면에서는 사전이 “큰 지원”(large support)을 갖는지를 검증한다. 즉, 임의의 연속적인 공분산 함수 Σ(·)에 대해 사전 확률이 양수임을 보이며, 이는 GP와 스파스 Θ 사전이 충분히 풍부하기 때문이다. 또한, 고차원 p에 대해 Θ의 스파스 구조가 효과적인 차원 축소를 제공함을 정리한다. 실험에서는 두 가지 주요 평가를 수행한다. 첫 번째는 p=30, 50, 100 인 시뮬레이션에서 다양한 공분산 변동 패턴(예: 시간에 따라 회전하거나 스케일이 변하는 경우)을 생성하고, 제안 모델을 기존 로그-공분산 회귀, Wishart 프로세스, 고정 랭크 요인 모델과 비교한다. 결과는 평균 제곱 오차(MSE)와 로그우도에서 제안 모델이 현저히 우수함을 보여준다. 두 번째는 실제 데이터인 Google Flu Trends를 사용한다. 이 데이터는 10개 지역의 독감 검색량을 시간에 따라 기록한 것으로, 관측 시점이 불규칙하고 결측치가 다수 존재한다. 제안 모델은 시간에 따라 변하는 공분산 구조를 성공적으로 포착하여, 향후 독감 발생을 예측하는 데 있어 기존 방법보다 더 정확한 불확실성 추정과 예측 성능을 제공한다. 결론적으로, 이 논문은 (1) 예측 변수에 따라 변하는 다변량 공분산을 비모수적으로 모델링하는 새로운 베이지안 프레임워크, (2) 가우시안 프로세스와 스파스 행렬 사전을 결합해 고차원·비정형·결측치 상황에서도 계산적으로 효율적인 추론을 가능하게 함, (3) 이론적 대규모 지원과 실험적 우수성을 동시에 입증함을 보여준다. 향후 연구는 동적 요인 구조, 비대각 Σ₀, 그리고 비선형 평균 모델을 포함한 확장 가능성을 제시한다.