대규모 행동 공간을 위한 저랭크 설계 행렬 업데이트 기반 확장 LinUCB

초록

본 논문은 LinUCB 알고리즘의 설계 행렬 역행렬을 대각 행렬과 저랭크 보정항의 합으로 표현하고, 프로젝터‑스플리팅 적분기법을 이용해 동적 저랭크 근사를 유지함으로써 메모리와 연산 복잡도를 $O(dr)$ 로 낮춘 PSI‑LinUCB를 제안한다. 배치 업데이트와 벡터화 연산을 지원하며, 실험을 통해 기존 LinUCB와 동일한 정확도를 유지하면서 대규모 데이터셋에서 현저한 속도·메모리 이점을 확인한다.

상세 분석

PSI‑LinUCB는 기존 LinUCB가 매 단계마다 $d\times d$ 설계 행렬 $A_{t,a}$ 를 직접 역산하거나 Sherman‑Morrison 식을 이용해 순위‑1 업데이트를 수행하는 방식의 한계를 극복한다. 핵심 아이디어는 정규화된 설계 행렬 $A_{t,a}= \lambda I + \sum_{s=1}^{t} x_{s,a}x_{s,a}^\top$ 의 역행렬을 $A_{t,a}^{-1}= D^{-1} - D^{-1}U_tV_t^\top D^{-1}$ 형태로 분해하는 것이다. 여기서 $D=\lambda I$ 는 대각 행렬이며, $U_t,V_t\in\mathbb{R}^{d\times r}$ 는 저랭크 보정 행렬이다. 이 표현은 $A_{t,a}$ 자체를 저장할 필요 없이 $U_t,V_t$ 만 유지하면 되므로 메모리 요구량이 $O(dr)$ 로 감소한다.

업데이트 단계에서는 새로운 컨텍스트 $x_{t+1}$ 가 들어올 때 $L_t$ (Cholesky‑style factor) 를 $L_{t+1}=L_t(I+\alpha_{t+1}\tilde{x}{t+1}\tilde{x}{t+1}^\top)$ 로 갱신하고, $\tilde{x}{t+1}=L_t^{-1}x{t+1}$ 를 이용해 저랭크 보정항을 업데이트한다. 저랭크 보정 행렬 $U_tV_t^\top$ 은 시간에 따라 열이 늘어나 메모리 폭증을 초래하므로, 저자들은 동적 저랭크 근사 기법인 프로젝터‑스플리팅 적분기법(PSI)을 도입한다. PSI는 $\dot D_t = \dot U_t S_t V_t^\top + U_t \dot S_t V_t^\top + U_t S_t \dot V_t^\top$ 를 최소화하면서 $\operatorname{rank}(D_t)=r$ 를 유지한다. 구체적으로 $D_t=U_tV_t^\top$ 를 $U_t S_t V_t^\top$ 로 재분해하고, QR 분해와 작은 $r\times r$ SVD 를 통해 새로운 $U_{t+1},S_{t+1},V_{t+1}$ 를 얻는다. 이 과정은 $O(dr^2)$ 의 연산으로 수행되며, $r\ll d$ 일 때 실질적인 $O(dr)$ 복잡도를 달성한다.

배치 업데이트를 위한 일반화도 제시한다. 배치 크기 $B$ 에 대해 $X_{t+1}\in\mathbb{R}^{d\times B}$ 를 이용해 $A_{t+1}=A_t+X_{t+1}X_{t+1}^\top$ 로 갱신하고, $Q_{t+1}$ (직교 컬럼) 와 $M_{t+1}$ (대칭 팩터) 를 통해 $L_{t+1}=L_t(I+Q_{t+1}(M_{t+1}-I)Q_{t+1}^\top)$ 로 표현한다. 이때도 동일한 저랭크 보정 구조를 유지하며, PSI를 적용해 $U,V$ 를 고정된 $r$ 로 압축한다.

이론적으로는 $U_tV_t^\top$ 가 실제 설계 행렬의 저랭크 근사와 동일한 차원을 갖는 경우, PSI‑LinUCB 가 정확히 기존 LinUCB 와 동일한 $A_t^{-1}$ 를 재현하므로 기존의 $\tilde O(d\sqrt{T})$ 레그레드 경계가 그대로 유지된다고 증명한다. 실험에서는 다양한 대규모 추천 데이터셋(예: MovieLens, Netflix) 에서 메모리 사용량이 수십 배 감소하고, 추론·학습 시간도 $2\sim5$ 배 가량 가속화되는 동시에 히트 레이트는 기존 LinUCB 와 거의 동일하거나 약간 상회한다.

요약하면, PSI‑LinUCB는 설계 행렬 역을 저랭크 보정 형태로 유지하고, 프로젝터‑스플리팅 적분기법을 통해 동적 저랭크 근사를 효율적으로 관리함으로써 대규모 차원·행동 공간을 갖는 실시간 추천 시스템에 적합한 확장성을 제공한다.