효율적인 멀티코어 협업 필터링

본 논문은 2011년 ACM KDD CUP 트랙1에서 사용된 대규모 음악 평점 데이터를 대상으로, LeBuSiShu 팀이 5위에 오르기 위해 개발한 전체 솔루션을 상세히 기술한다. 데이터는 1,000,990명의 사용자, 624,961개의 트랙, 262,810,175개의 평점, 6,649개의 시간 구간으로 구성되어 있어, 전통적인 단일 머신 환경에서는 메모리와 연산량이 크게 제한된다. 저자들은 두 가지 주요 난관을 제시한다. 첫 번째는 데이터 규모 자체이며, 두 번째는 트랙‑앨범‑아티스트‑장르라는 복합적인 아이템 계층 구조이다. 1. **알고리즘 포트폴리오** 저자들은 Bellkor 팀(Netflix 대회 우승)의 아이디어를 차용해 12개의 협업 필터링 알고리즘을 구현하고, 이를 앙상블 방식으로 결합한다. 구체적인 알고리즘은 다음과 같다. - Item‑kNN: 조정 코사인 유사도 기반 이웃 모델, 아이템을 300개의 파티션으로 나누어 메모리 사용을 최적화. - ALS / wALS: 교대 최소제곱 방식의 행렬 분해, 가중치 조정을 통해 정규화. - BPTF: 베이지안 확률적 텐서 분해, MCMC 샘플링을 포함. - SGD, SVD++: 확률적 경사 하강법 기반 행렬 분해, 암시적 피드백(y_i) 포함. - Time‑aware 변형들(time‑kNN, time‑SGD, time‑SVD++): 시간 감쇠 함수 f_ui(t)=e^{−β(t−t_ui)}를 도입해 최근 평점에 가중치를 부여. - Random Forest: 아이템 메타데이터(아티스트, 앨범, 장르 등)를 이용한 회귀 모델, 단독 성능은 낮지만 블렌딩 시 약간의 개선을 제공. 2. **MFITR: 아이템 계층 정규화 행렬 분해** 기존 행렬 분해는 사용자와 아이템을 독립적인 잠재 벡터로 매핑하지만, 음악 데이터에서는 트랙이 앨범에, 앨범이 아티스트에, 아티스트가 장르에 속한다는 명확한 트리 구조가 존재한다. 이를 활용하기 위해 저자들은 MFITR 모델을 제안한다. 핵심 아이디어는 아이템 간의 부모‑자식 관계를 그래프 형태로 표현하고, 해당 관계에 대한 정규화 항을 손실 함수에 추가하는 것이다. 구체적인 손실 함수는 다음과 같다. L = Σ_{(u,i)∈O} (r_ui − μ − b_i − b_u − b_a − (q_i + q_a)^T p_u)^2 + λ_1 (b_i^2 + b_u^2 + b_a^2) + λ_2 (‖q_i‖^2 + ‖p_u‖^2 + ‖q_a‖^2) + λ_3 Σ_{(i,j)∈C_i} w_{ij} ‖q_i − q_j‖^2 + λ_4 Σ_{(i,j)∈P_i} w_{ij} ‖q_i − q_j‖^2 여기서 C_i는 아이템 i의 자식 집합(예: 같은 앨범에 속한 트랙), P_i는 부모 집합(예: 트랙이 속한 앨범)이며, w_{ij}는 이웃 모델에서 계산한 유사도이다. 이 정규화는 같은 앨범·아티스트에 속한 아이템들의 잠재 벡터를 서로 가깝게 만들며, 직접적인 관계가 없는 트랙 간에도 부모를 통해 간접적으로 유사성을 전파한다. 시간 정보를 추가한 time‑MFITR은 일별 타임빈을 30개로 양자화하고, 시간‑가중 편향 b_{i,bin(t)}와 사용자‑시간 행렬을 저차원(x_u, z_t)으로 분해한다. 이를 통해 시간에 따른 선호 변화를 모델링하면서도 메모리 사용을 제한한다. 3. **병렬 구현 및 실험 환경** 모든 알고리즘은 GraphLab 프레임워크 위에 구현되었으며, 이는 데이터 흐름 기반의 병렬 처리와 자동 잠금 메커니즘을 제공한다. 저자들은 자체 클러스터(AMD Opteron 8387 4‑8코어, 16‑64GB)와 SGI UV 1000 기반 BlackLight 슈퍼컴퓨터(총 4096 코어)를 활용해 약 2만 CPU‑시간을 소비하였다. 각 알고리즘은 8~32 코어에서 라인 서치를 통해 파라미터를 탐색했고, 동일 실험을 검증 데이터 포함 여부에 따라 두 번 수행하였다. **성능 결과** - 단일 모델 중 가장 낮은 RMSE는 time‑SVD++(20.90)이며, time‑MFITR이 21.10으로 그에 근접한다. - wALS는 가장 낮은 검증 RMSE를 기록했지만, 테스트 데이터에서는 과적합으로 성능이 떨어졌다. - 병렬 스케일링: ALS와 wALS는 16코어에서 거의 14배 속도 향상, BPTF는 샘플링 단계 때문에 약간 낮은 스케일링, SGD와 SVD++는 락으로 인해 6배·3배 정도. 정확도 차이는 0.1% 이하. - 특성 차원(D) 확대에 따른 실행 시간은 SGD와 SVD++가 거의 선형적으로 증가, 반면 ALS·wALS·BPTF는 행렬 연산 특성상 스케일링이 다소 제한적. **블렌딩** 12개의 모델 예측값을 검증 데이터 기반 릿지 회귀(λ 조정)로 선형 결합한 뒤, 전체 학습 데이터를 재사용해 최종 모델을 재학습하였다. 블렌딩 결과는 개별 모델 대비 RMSE가 평균 0.08~0.12 향상되었으며, 이는 최종 대회 순위에 크게 기여하였다. 4. **공헌 및 활용 가능성** - **MFITR**: 아이템 계층 구조를 정규화 항으로 통합한 최초의 협업 필터링 모델 중 하나이며, 전자상거래 카테고리, 뉴스 토픽 트리 등 유사한 계층 데이터를 가진 도메인에 직접 적용 가능. - **GraphLab 기반 오픈소스 라이브러리**: 현재 GraphLab 협업 필터링 라이브러리(http://graphlab.org/)에 구현되어 공개됨으로써, 연구자와 실무자가 대규모 데이터와 복합 구조를 동시에 다루는 실험을 손쉽게 재현·확장할 수 있다. - **멀티코어·분산 구현 노하우**: 락 메커니즘, 파라미터 라인 서치, CPU‑시간 관리 등에 대한 상세 설명은 대규모 머신러닝 시스템 구축 시 실용적인 가이드가 된다. 결론적으로, 본 논문은 대규모 데이터 처리와 아이템 계층 구조 활용이라는 두 축을 동시에 만족시키는 통합 솔루션을 제시한다. MFITR과 time‑MFITR은 정규화 기반의 새로운 접근법을 제시하고, GraphLab 기반 병렬 구현은 실험 효율성을 크게 향상시켰으며, 최종적으로 다양한 모델을 블렌딩해 경쟁적인 성능을 달성하였다. 이러한 연구 결과는 향후 대규모 추천 시스템 및 복합 구조 데이터 분석에 중요한 참고 자료가 될 것이다.