쌍별 선택 마코프 연쇄 모델

본 논문은 현대 온라인 환경에서 인간 선택 데이터를 모델링하기 위한 새로운 확률 선택 프레임워크인 Pairwise Choice Markov Chain(PCMC) 모델을 제안한다. 전통적인 선택 이론은 Luce의 선택 공리(IIA), 정규성(regularity), 강도 확률 전이성(stochastic transitivity) 등 강력한 가정을 필요로 한다. 그러나 실제 데이터에서는 이러한 가정이 자주 위배되며, 특히 프레이밍 효과, 비대칭 우위, 복제 효과 등은 기존 모델이 포착하지 못한다. **모델 정의** - 기본 집합 U의 모든 원소 쌍 (i,j)에 대해 비대각 전이율 q_{ij}>0을 정의한다. 전이율 행렬 Q는 q_{ij}+q_{ji}≥1(또는 양의 상수 ε)이라는 조건을 만족하도록 제한한다. 이는 모든 부분집합 S⊆U에 대해 해당 부분집합에 제한된 전이율 행렬 Q_S가 단일 닫힌 소통 클래스를 가지게 하여 정상분포가 유일하게 존재함을 보장한다. - 선택 집합 S에 대해 연속시간 마코프 연쇄(CTMC)를 Q_S 로 구성하고, 그 정상분포 π_S를 계산한다. 선택 확률 p_{iS}는 π_S(i) 로 정의된다. 즉, “집합 S에서 i가 선택될 확률은 S에 대한 CTMC의 정상상태에서 i가 차지하는 확률 질량”이다. **수학적 성질** 1. **정의의 타당성**: 전이율이 양수이면 체인은 강연결(irreducible)이며, 정상분포는 유일하게 존재한다. 전이율을 스케일링해도 정상분포는 변하지 않으므로 파라미터 식별성에 문제가 없다. 2. **MNL과의 특수화**: Q를 Bradley‑Terry‑Luce(BTL) 쌍별 선택 확률 q_{ij}=γ_i/(γ_i+γ_j) 로 설정하면, 정상분포는 π_S(i)=γ_i/∑_{k∈S}γ_k 가 된다. 이는 바로 Multinomial Logit(MNL) 모델과 일치한다. 따라서 PCMC는 MNL의 일반화이며, 기존 I‑LSR(Iterative Luce Spectral Ranking) 알고리즘이 PCMC의 특수 경우임을 확인한다. 3. **정규성·RUM 부정**: 전이율을 rock‑paper‑scissors 게임 형태로 설정하면, 전체 집합에서 선택 확률은 균등하지만 부분집합에서는 승률 α에 따라 비정규적인 선택 확률이 발생한다. 이는 정규성(p_{i,S0}≥p_{i,S})을 위배하고, 따라서 PCMC는 Random Utility Model(RUM)의 범주에 속하지 않는다. 4. **균등 확장과 계약성**: - *복제* 정의: 두 원소 i, j가 모든 다른 원소 k에 대해 동일한 전이율 q_{ik}=q_{jk}와 q_{ij}=q_{ji} 를 가질 때 복제라 한다. - *균등 확장* 공리: k개의 복제 집합이 존재할 때, 각 원소군 전체에 대한 선택 확률은 복제 수 k에 무관하게 동일해야 한다. PCMC는 전이율이 복제 조건을 만족하면 정상분포가 복제 수에 비례적으로 확장되므로 이 공리를 만족한다. - *계약성(contractibility)*: 파티션 A_1,…,A_m 이 각각 내부 전이율 구조가 동일하고, 파티션 간 전이율은 동일하게 유지될 때, 파티션 간 선택 확률은 내부 구조와 무관하게 결정된다. 이는 균등 확장의 일반화이며, PCMC가 항상 계약성을 만족함을 증명한다. **실험** - **합성 데이터**: Luce 공리를 만족하는 경우와 위배하는 경우 두 가지 시나리오를 설계하였다. PCMC는 MNL과 동등한 성능을 보였으며, 공리를 위배하는 경우에는 현저히 높은 로그우도와 정확도를 기록했다. - **실제 데이터**: 샌프란시스코의 통근·쇼핑 선택 데이터(교통수단 선택) 두 세트를 사용하였다. 모델 파라미터는 최대우도 추정(MLE)으로 학습했으며, 비교 대상은 MNL 및 혼합 MNL(MMNL)이다. 결과는 PCMC가 두 데이터 모두에서 통계적으로 유의미하게 높은 예측 정확도와 로그우도를 달성했으며, 특히 정규성 위배 현상이 뚜렷한 경우에 큰 이점을 보였다. **의의** PCMC는 선택 확률을 마코프 연쇄의 정상분포라는 직관적인 물리적 메커니즘에 매핑함으로써, 전이율을 “쌍별 선호 강도”로 해석할 수 있게 한다. 이는 기존 선택 모델이 갖는 강한 공리를 포기하면서도, 계약성이라는 구조적 제약을 통해 모델의 과도한 자유도를 억제한다. 또한, BTL 파라미터화 시 MNL과 동일해지므로 기존 MNL 기반 시스템과의 호환성이 높다. **향후 연구** - 전이율 행렬 Q에 대한 구조적 제약(예: 대칭성, 저차원 임베딩)과 효율적인 대규모 최적화 알고리즘 개발이 필요하다. - 계약성을 이용한 군집화·네스팅 구조와의 연계, 특히 Nested MNL과의 관계를 정량적으로 분석하는 것이 흥미롭다. - PCMC를 순위 예측, 추천 시스템, 스포츠 경기 예측 등 다양한 응용 분야에 적용하고, 실시간 학습 및 온라인 업데이트 메커니즘을 탐구할 여지가 있다.