협업 앙상블 학습을 통한 협업 및 콘텐츠 기반 필터링 통합

초록

본 논문은 각 사용자의 프로필을 확률적 SVM으로 모델링하고, 베이즈 계층 구조를 이용해 다수 사용자 모델을 결합함으로써 협업 필터링과 콘텐츠 기반 필터링을 하나의 확률적 프레임워크로 통합한 ‘협업 앙상블 학습’을 제안한다. 전역 학습 단계가 필요 없으며, 새로운 데이터가 추가될 때 즉시 업데이트가 가능하다. Reuters 텍스트 데이터와 예술 이미지 설문 데이터를 이용한 실험에서 기존 방법들을 능가하는 추천 정확도를 보였다.

상세 분석

이 연구는 협업 필터링(CF)과 콘텐츠 기반 필터링(CBF)의 장점을 결합하면서도 각각의 약점을 보완하는 새로운 확률적 모델을 제시한다. 핵심 아이디어는 각 사용자를 독립적인 확률적 서포트 벡터 머신(probabilistic SVM, PSVM)으로 표현하는 것이다. PSVM은 전통적인 SVM의 결정 경계에 베이즈 확률을 부여해, 특정 아이템이 긍정적(좋아요)일 확률을 직접 출력한다. 이렇게 얻어진 사용자별 확률 모델은 ‘사용자 프로필’이라는 형태로 저장되며, 새로운 사용자가 시스템에 등장하거나 기존 사용자가 새로운 평가를 남길 때마다 별도의 재학습 없이 해당 PSVM만 업데이트하면 된다.

다음 단계는 베이즈 계층 구조(Hierarchical Bayes)를 이용한 모델 결합이다. 상위 레벨에서는 전체 사용자 집단의 사전 분포를 정의하고, 하위 레벨에서는 개별 사용자의 사후 확률을 계산한다. 활성 사용자에 대한 예측은 전체 사용자 집단의 사후 예측을 가중 평균함으로써 이루어진다. 이때 가중치는 각 사용자의 사후 확률이 현재 아이템에 대해 얼마나 신뢰할 수 있는가에 따라 자동 조정된다. 결과적으로 ‘협업’ 요소는 다른 사용자의 평가 정보를 확률적으로 빌려오는 형태로 구현되고, ‘콘텐츠’ 요소는 각 사용자의 PSVM이 아이템의 특성(텍스트 피처, 이미지 메타데이터 등)을 직접 활용한다는 점에서 기존 하이브리드 방식보다 더 이론적으로 일관된 통합을 제공한다.

또한, 이 프레임워크는 전역 학습 단계가 없다는 점에서 실시간 시스템에 적합하다. 기존의 메모리 기반 CF는 전체 사용자-아이템 행렬을 재구성해야 하는 비용이 크고, 모델 기반 CF는 주기적인 재학습이 필요하지만, 협업 앙상블 학습은 새로운 평가가 들어올 때마다 해당 사용자의 PSVM만 갱신하면 되므로 확장성이 뛰어나다.

실험에서는 두 가지 데이터셋을 사용했다. 첫 번째는 Reuters‑21578 뉴스 기사 컬렉션으로, 각 사용자를 하나의 카테고리(예: 스포츠, 정치 등)에만 관심이 있다고 가정해 가상의 평점을 생성하였다. 두 번째는 642개의 예술 이미지에 대한 웹 설문 조사 데이터로, 실제 사용자들의 선호도가 다양하게 분포한다. 두 경우 모두 협업 앙상블 학습은 단순 CF, 단순 CBF, 그리고 기존 하이브리드 방법보다 높은 정밀도·재현율을 기록했으며, 특히 데이터가 희소할 때(사용자당 평가 수가 적을 때) 그 우수성이 두드러졌다. 이는 개별 PSVM이 콘텐츠 정보를 충분히 활용하면서, 동시에 다른 사용자들의 사후 확률을 빌려와 희소성을 보완하기 때문이다.

한계점으로는 PSVM 학습 비용이 사용자 수에 비례해 증가한다는 점과, 베이즈 결합 단계에서 사전 분포를 어떻게 설정하느냐에 따라 성능 변동이 있을 수 있다는 점을 들 수 있다. 향후 연구에서는 커널 선택 자동화, 사전 분포의 베이지안 최적화, 그리고 딥러닝 기반 특징 추출과의 연계를 통해 이러한 문제를 완화할 수 있을 것으로 기대된다.