네트워크 밴딧 협력 전략

본 논문은 소셜 네트워크와 같은 관계형 구조를 가진 사용자 집단에 대한 맞춤형 추천 문제를 다루며, 이를 멀티-암드 밴딧(MAB) 프레임워크와 결합한다. 전통적인 컨텍스트 밴딧은 각 사용자에 대해 독립적인 학습을 수행하지만, 실제 서비스에서는 사용자 간의 친밀도나 사회적 연결이 존재한다는 점을 간과한다. 저자들은 이러한 사회적 정보를 그래프 G=(V,E) 형태로 모델링하고, 각 정점 i∈V에 선형 컨텍스트 밴딧 알고리즘을 배치한다. 핵심은 인접 정점 간에 보상과 컨텍스트 정보를 공유함으로써 학습 속도를 가속화하는 것이다. 이를 위해 라플라시안 행렬 L을 이용해 그래프 구조를 정규화한다. 라플라시안 기반 커널 A=I+L을 정의하고, A^{-1/2}⊗φ_i(x) 형태로 컨텍스트 벡터를 변환한다. 여기서 φ_i(x)는 d차원 컨텍스트 x를 dn차원 벡터로 확장한 것으로, i번째 블록에만 x가 들어가고 나머지는 0으로 채워진다. 변환된 벡터 eφ는 모든 정점에 걸쳐 공유되며, 선택된 행동의 피드백 a_t는 관측된 정점 i_t뿐 아니라 인접 정점들의 파라미터 추정에도 영향을 미친다. 이렇게 하면 “인접 정점 간 정보 전파”가 자연스럽게 이루어진다. 알고리즘 GOB.Lin은 LinUCB와 동일한 상한 신뢰구간(cb_t)을 사용하지만, cb_t의 계산에 ‖eU‖ (전체 파라미터의 라플라시안 정규화 버전)와 그래프 스펙트럼이 반영된다. 따라서 그래프가 잘 설계되었을 경우, 파라미터 간 차이가 라플라시안 정규화 항 L(u_1,…,u_n)으로 억제되어 레그레트 상한이 크게 감소한다. 논문은 이를 정리하여, 누적 레그레트 R_T ≤ 2σ√(2sT ln|M_T|/δ) + 2L(u)(1+B^2)ln|M_T| 라는 형태의 고확률 경계식을 제시한다. 여기서 s는 차원 d와 정점 수 n에 비례하는 상수이며, B는 컨텍스트 벡터의 최대 노름이다. 이 경계는 독립적인 n개의 밴딧을 실행했을 때보다 훨씬 작은 상수를 제공한다. 실제 구현에서는 매 라운드마다 dn×dn 행렬 M_t를 업데이트해야 하므로 시간·메모리 복잡도가 O((dn)^2)이다. 이는 사용자 수가 수천 이상인 대규모 서비스에 직접 적용하기엔 비현실적이다. 이를 해결하기 위해 두 가지 클러스터링 기반 변형을 제안한다. 첫 번째 변형은 그래프를 K개의 클러스터로 분할하고, 클러스터 간 간선을 제거한다. 각 클러스터 내부에서 독립적으로 GOB.Lin을 실행함으로써 전체 복잡도를 O((d|C_k|)^2)로 감소시킨다. 두 번째 변형은 각 클러스터를 하나의 슈퍼노드로 축소해 새로운 작은 그래프 G'를 만든 뒤, G' 위에서 GOB.Lin을 적용한다. 이 방법은 클러스터 간 정보 교환을 최소화하면서도, 클러스터 내부에서는 라플라시안 정규화를 유지한다. 두 변형 모두 그래프 노이즈에 대한 강인성을 높이고, 실행 시간을 크게 단축한다. 실험은 두 실제 데이터셋, 소셜 북마크 서비스 Delicious와 음악 스트리밍 플랫폼 Last.fm을 사용했다. 각 데이터셋에서 사용자는 그래프 정점, 아이템은 컨텍스트 벡터로 표현되었다. 실험 설정은 클릭률(CTR) 및 누적 보상 측면에서 기존 LinUCB, LinRel, 그리고 비관계형 컨텍스트 밴딧과 비교하였다. 결과는 다음과 같다. (1) GOB.Lin은 평균 CTR에서 12%~18% 향상을 보였으며, 누적 보상에서도 유의미한 차이를 나타냈다. (2) 클러스터링 변형은 원본 GOB.Lin과 거의 동일한 성능을 유지하면서 메모리 사용량을 60%~80% 절감했고, 실행 시간도 2배 이상 빨라졌다. (3) 그래프에 인위적인 노이즈(무작위 간선 추가)를 삽입했을 때, 클러스터링 변형이 원본보다 레그레트 증가에 덜 민감함을 확인했다. 이러한 실험 결과는 사회적 관계 정보를 활용한 밴딧 학습이 실제 서비스에서 탐색·활용 균형을 크게 개선할 수 있음을 입증한다. 또한, 라플라시안 기반 정규화가 멀티태스크 학습과 밴딧 탐색을 자연스럽게 연결해 주며, 클러스터링을 통한 스케일링 전략이 대규모 시스템에 적용 가능함을 보여준다. 결론적으로, 논문은 (1) 라플라시안 커널을 이용한 멀티태스크 선형 밴딧 프레임워크, (2) 그래프 기반 정보 공유 메커니즘, (3) 클러스터링을 통한 확장성 확보라는 세 가지 핵심 기여를 제시한다. 이론적 레그레트 분석과 실험적 검증을 모두 제공함으로써, 사회적 네트워크가 존재하는 추천 시스템에 대한 새로운 설계 원칙을 제시한다.