노드 트래픽으로 선호도 추정하는 ChoiceRank 모델

본 논문은 네트워크에서 사용자가 이동하는 과정을 “선택”이라는 관점으로 모델링하고, 관측 가능한 것은 각 노드의 총 방문 횟수(입·출 트래픽)뿐이라는 제한된 데이터 상황에서 간선 전이 확률을 추정하는 방법을 제시한다. 연구 배경으로는 웹 페이지 클릭스트림, 소셜 네트워크, 교통·모빌리티 시스템 등에서 개별 경로를 수집하기 어렵거나 프라이버시·비용 문제로 제한되는 경우가 많다는 점을 들었다. **모델 정의** - 그래프 G=(V,E) 를 대상으로, 각 노드 i에 양의 잠재 강도 λ_i 를 부여한다. - i에서 나가는 이웃 j∈N⁺_i 로의 전이 확률은 Luce의 선택 공리에서 유도된 p_{ij}=λ_j / Σ_{k∈N⁺_i} λ_k 로 정의한다. 이는 “목적지 강도가 클수록 선택될 확률이 높다”는 직관을 반영한다. - 사용자는 현재 노드에서 가능한 이웃 집합 중 하나를 선택하고, 선택 후에는 동일한 규칙을 반복한다. 선택 과정은 마코프 체인으로 표현 가능하다. **통계적 충분성** - 전체 간선 카운트 c_{ij} (i→j 로 실제 이동한 횟수) 로부터 로그우도 L(λ;D) 를 전개하면, 식 (2)와 같이 각 노드의 입·출 총합 c_i⁻, c_i⁺ 만이 파라미터에 영향을 주는 형태가 된다. - 따라서 { (c_i⁻, c_i⁺) | i∈V } 가 O(n) 차원의 충분통계이며, 개별 간선 카운트를 알 필요가 없다는 점이 핵심이다. 이는 데이터 수집 비용을 크게 낮춘다. **정규화와 사전** - Luce 모델의 파라미터는 스케일링 불변성(λ → c·λ) 때문에 비교 하이퍼그래프가 연결되지 않으면 최대우도 해가 무한히 많다. - 이를 해결하기 위해 λ_i 에 Gamma(α,β) 사전을 부여한다. 사전이 존재하면 로그우도에 - (α-1)log λ_i + β λ_i 와 같은 정규화 항이 추가돼, 최적화 문제가 강하게 볼록화되고 유일한 MAP 해가 보장된다. **알고리즘 (ChoiceRank)** - λ_i = exp(θ_i) 로 변환해 볼록성을 확보한다. - EM‑유사 반복을 도입한다. E‑스텝에서는 현재 λ 로부터 각 노드 i의 “가중된 출발 횟수” w_i = Σ_{j∈N⁺_i} c_{ij}·(λ_j / Σ_{k∈N⁺_i} λ_k) 를 계산한다. - M‑스텝에서는 λ_j 를 (c_j⁻ + α -1) / ( Σ_{i∈N⁻_j} w_i + β ) 로 업데이트한다. - 이 업데이트는 PageRank의 두 번 반복과 동등한 연산량을 요구하므로, 스파스 행렬 연산과 병렬화를 통해 수십억 노드·엣지를 가진 그래프에서도 메모리와 시간 효율성을 유지한다. **실험** 1. **위키피디아 클릭스트림**: 2백만 노드, 30억 엣지 규모의 하이퍼링크 그래프에 대해 실제 클릭 로그를 이용해 간선 전이 카운트를 구했다. 노드 방문 횟수만을 입력으로 ChoiceRank를 실행했을 때, 복원된 전이 확률과 실제 카운트 사이의 Pearson 상관계수가 0.94 이상으로 높은 정확도를 보였다. 2. **헝가리 뉴스 포털**: 4만 노드 규모의 그래프에서도 유사한 결과가 재현되었다. 3. **NYC 자전거 공유**: 각 대여를 “시작역 → 목적지 선택”으로 모델링하고, 시작역별 출발 횟수만을 사용해 목적지 전이 확률을 추정했다. 실제 목적지 분포와의 KL divergence가 낮아 실용적인 모빌리티 예측에 활용 가능함을 확인했다. 4. **확장성 테스트**: 1000억 엣지를 가진 WWW 스냅샷을 단일 서버(64GB RAM)에서 1시간 내에 수렴시켰다. 메모리 사용량은 스파스 인접 리스트 형태로 30GB 수준에 머물렀다. **이론적 연결** - 기존 연구인 Kumar et al. (2015)의 “steady‑state inversion” 문제와 연결해, 무한히 긴 경로(steady‑state)에서는 ChoiceRank의 MAP 해가 해당 문제의 해와 동일함을 증명한다. 즉, ChoiceRank는 유한 데이터 상황에서도 동일한 원칙을 적용한 일반화된 방법이다. **의의와 한계** - 개인 로그 없이도 네트워크 내 선호 구조를 추정할 수 있다는 점에서 프라이버시 보호와 데이터 비용 절감에 크게 기여한다. - 모델은 Luce 선택 공리를 전제하므로, 선택이 독립적이고 비례적이라는 가정이 깨지는 경우(예: 순위 의존 선택, 시간 의존성)에는 정확도가 떨어질 수 있다. - 현재는 정적 λ 를 가정하지만, 실제 시스템에서는 시간에 따라 변하는 선호를 반영할 필요가 있다. **향후 연구** - 동적 ChoiceRank: λ(t) 를 시계열 모델(예: Kalman filter)로 추정하거나, 온라인 EM 형태로 실시간 업데이트. - 다중 선택 및 순위 모델 확장: 사용자가 한 번에 여러 후보를 선택하거나, 순위 정보를 활용하는 경우에 대한 일반화. - 베이지안 비모수 사전 도입: Dirichlet‑process 기반 사전으로 클러스터링된 선호 그룹을 자동 발견. 전반적으로 본 논문은 충분통계와 베이지안 정규화를 결합한 이론적 프레임워크와, PageRank와 유사한 효율적인 구현을 통해 대규모 네트워크에서 선호 추정을 실현한다는 점에서 학술적·실무적 가치를 동시에 제공한다.