빠른 베이지안 비음수 행렬 분해와 삼중 분해

본 논문은 비음수 행렬 분해(NMF)와 삼중 행렬 분해(NMTF)를 베이지안 관점에서 효율적으로 수행하기 위한 변분 베이지안(Variational Bayesian, VB) 알고리즘을 제안한다. 기존 연구에서는 지수 사전분포와 감마 사전분포를 이용해 Gibbs 샘플링 기반의 MCMC 방법을 적용했지만, 샘플링 과정에서 발생하는 burn‑in, thinning, 수렴 판단의 불확실성 등으로 인해 실시간 혹은 대규모 데이터에 적용하기 어려웠다. 이를 극복하고자 저자들은 평균‑필드(mean‑field) 가정을 도입해 각 파라미터의 변분 사후분포를 독립적으로 설정하고, ELBO(Evidence Lower Bound)를 최대화하는 반복 업데이트 식을 도출하였다. **1. NMF 모델** 관측 행렬 R∈ℝ^{I×J}를 두 개의 비음수 행렬 U∈ℝ_{+}^{I×K}, V∈ℝ_{+}^{J×K}의 곱으로 근사한다. 가우시안 잡음(정밀도 τ)을 가정한 likelihood는 R_{ij}∼𝒩(U_i·V_j, τ^{-1}) 이며, U와 V에 각각 지수 사전분포 E(·|λ) 를, τ에 감마 사전분포 G(·|α,β) 를 부여한다. 변분 사후분포는 τ에 대해 감마분포, U와 V에 대해 트렁케이티드 정규분포(TN) 형태를 취한다. 트렁케이티드 정규분포는 비음수 제약을 자연스럽게 만족시키면서, 기대값 μ와 분산 σ²를 통해 업데이트가 가능하도록 설계되었다. 업데이트 식은 μ_{U_{ik}} = (λ_{U_{ik}} + τ∑_{j∈Ω_i} V_{jk} (R_{ij} - Σ_{k'≠k} U_{ik'}V_{jk'})) / (τ∑_{j∈Ω_i} V_{jk}^2 + λ_{U_{ik}}) 등과 같이, 기존 Gibbs 샘플링에서 얻은 조건부 평균과 유사하지만, 샘플링 대신 기대값을 직접 계산한다. 이 과정은 각 행별로 독립적으로 수행되므로 병렬화가 용이하고, 전체 복잡도는 O(|Ω|K) 수준이다. **2. NMTF 모델** 삼중 분해는 R을 세 개의 비음수 행렬 F∈ℝ_{+}^{I×K}, S∈ℝ_{+}^{K×L}, G∈ℝ_{+}^{J×L}의 곱으로 표현한다: R_{ij}≈F_i·S·G_j^T + ε_{ij} 여기서 ε_{ij}는 가우시안 잡음이다. 사전분포는 NMF와 동일하게 지수분포와 감마분포를 사용한다. 변분 사후분포 역시 τ에 대해 감마, F, S, G에 대해 트렁케이티드 정규분포를 채택한다. 그러나 기대값 E_q