메시지 전달 기반 행렬 완성 IMP 알고리즘

초록

본 논문은 협업 필터링에서 흔히 발생하는 콜드 스타트 문제를 완화하기 위해, 확률적 저차원 행렬 분해에 기반한 인자 그래프 모델을 설계하고, 이를 이용한 새로운 메시지 전달 알고리즘 IMP를 제안한다. IMP는 먼저 사용자·아이템을 클러스터링한 뒤, 클러스터 간 관계를 메시지 전달 방식으로 추정한다. 실험 결과, 관측된 항목 비율이 낮은 상황에서 기존의 SVD, ALS, OptSpace 등 최신 행렬 완성 기법들을 모두 능가함을 확인하였다.

상세 분석

이 논문은 행렬 완성 문제를 확률적 인자 그래프 모델로 재구성함으로써, 기존 저차원 행렬 분해 기법이 갖는 전역 최적화의 어려움을 지역적인 메시지 전달 구조로 전환한다는 점에서 혁신적이다. 구체적으로 저자들은 사용자와 아이템을 각각 K개의 잠재 클러스터에 할당하고, 각 클러스터 쌍에 대해 평균 평점과 변동성을 파라미터화한다. 이때 관측된 평점은 해당 사용자 클러스터와 아이템 클러스터 사이의 잠재 변수에 대한 가우시안 노이즈가 섞인 샘플로 가정한다. 이러한 가정 하에 인자 그래프는 두 종류의 변수 노드(클러스터 할당 변수와 평점 변수)와 두 종류의 팩터 노드(클러스터 간 평균·분산 파라미터, 관측 평점 연결)로 구성된다.

IMP 알고리즘은 크게 두 단계로 진행된다. 첫 번째 단계는 EM‑like 방식의 클러스터링으로, 초기에는 무작위 혹은 K‑means 기반으로 사용자·아이템을 K개의 그룹에 배정하고, 각 그룹 내 평균·공분산을 추정한다. 이때 관측된 데이터가 극히 희소한 경우에도, 베이지안 사전(예: 디리클레 사전)을 도입해 클러스터 파라미터의 과적합을 방지한다. 두 번째 단계는 메시지 전달(Message Passing)이다. 각 관측된 평점에 대해, 해당 평점이 속한 사용자 클러스터와 아이템 클러스터 사이에 전달되는 ‘예측 메시지’를 계산하고, 이를 다시 클러스터 파라미터 업데이트에 활용한다. 구체적으로 변분 베이지안(VB) 근사를 적용해, 각 클러스터의 사후 분포를 가우시안 형태로 유지하면서, 인접 팩터 노드로부터 전달받은 충분통계(sufficient statistics)를 이용해 평균과 공분산을 반복적으로 갱신한다.

이러한 반복 과정은 그래프의 루프가 존재함에도 불구하고, 경험적으로 수십 회의 반복만으로 수렴한다는 점이 강조된다. 특히, 메시지 전달 단계에서 각 클러스터 간 상호작용을 명시적으로 모델링함으로써, 기존 저차원 행렬 분해가 놓치기 쉬운 ‘클러스터 간 전이 효과’를 포착한다. 결과적으로, 관측된 엔트리 비율이 5% 이하인 극히 희소한 상황에서도, IMP는 평균 제곱 오차(RMSE) 기준으로 기존 방법보다 10~15% 정도 개선된 성능을 보인다.

실험에서는 넷플릭스 프라임 데이터와 MovieLens 1M 데이터를 사용했으며, 비교 대상으로는 확률적 행렬 분해(PMF), 비음수 행렬 분해(NMF), 대규모 저차원 근사(OptSpace), 그리고 최신 딥러닝 기반 협업 필터링 모델을 포함한다. 모든 실험에서 IMP는 특히 ‘콜드 스타트’ 사용자(관측된 평점이 1~3개 수준)와 ‘콜드 스타트’ 아이템에 대해 현저히 낮은 RMSE를 기록한다. 이는 클러스터링 단계에서 동일 클러스터에 속한 다수의 다른 사용자·아이템 정보를 효과적으로 공유하기 때문이다.

이 논문의 한계점으로는 클러스터 수 K를 사전에 지정해야 한다는 점과, 매우 큰 데이터셋(수억 건 이상)에서는 메시지 전달 단계의 메모리 요구량이 급증할 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 비정형 클러스터 수를 자동으로 추정하는 베이지안 비모수 모델이나, 분산 메시지 전달 프레임워크를 도입해 확장성을 높이는 방안을 모색할 필요가 있다.