선택 모델 추정을 위한 최소화된 실험 설계와 중첩 로짓 네스트 식별

초록

본 논문은 n개의 아이템 중에서 선택 모델을 효율적으로 추정하기 위한 실험 설계 방법을 제시한다. O(log n)개의 고정된 어소트먼트를 반복 제공함으로써 무작위 설계보다 일관되게 높은 추정 정확도를 달성한다. 특히 중첩 로짓(Nested Logit) 모델에서 사전에 정의된 네스트가 없을 경우, 수집된 데이터만으로 네스트를 정확히 식별하는 알고리즘을 제안하고, 이를 실제 7천만 명 사용자 데이터를 통해 검증한다.

상세 분석

이 연구는 두 가지 핵심 문제에 접근한다. 첫 번째는 “어떤 어소트먼트(아이템의 부분집합)를 제공해야 선택 모델을 정확히 추정할 수 있는가”라는 실험 설계 질문이다. 기존 문헌에서는 무작위 서브셋을 다수 생성하거나, 전통적인 설계 이론(예: D‑optimal) 등을 적용했지만, 아이템 수가 커질수록 설계 비용이 급증한다는 한계가 있었다. 저자들은 비적응적이면서도 구조화된 설계 방식을 도입한다. 구체적으로, 아이템을 이진 트리 형태로 계층화하고, 각 레벨에서 두 개의 서브셋을 선택해 O(log n)개의 고유 어소트먼트를 만든다. 이 어소트먼트들은 반복적으로 제공되며, 각 어소트먼트에 대한 선택 빈도 데이터를 수집한다. 이 설계는 정보 이득을 최대화하도록 설계되었으며, 실험적 베이스라인(무작위, 균등, 그리디 등)과 비교했을 때 평균 로그우도와 파라미터 추정 오차에서 현저히 우수함을 보인다.

두 번째 핵심 기여는 중첩 로짓 모델에서 “네스트(유사 대체군)를 어떻게 식별할 것인가”이다. 전통적인 중첩 로짓 추정은 네스트 구조가 사전에 고정돼 있다는 전제하에 파라미터를 추정한다. 그러나 실제 비즈니스 환경에서는 아이템 간 대체 관계가 사전에 명확하지 않다. 저자들은 수집된 선택 데이터만을 이용해 아이템 간 교차 상관관계를 추정하고, 이를 기반으로 계층적 클러스터링을 수행한다. 핵심 아이디어는 각 아이템 쌍에 대해 조건부 선택 확률을 비교해 “대체 가능성”을 정량화하고, 이 값을 거리 척도로 사용해 군집화한다. 제안된 알고리즘은 다음 두 가지 이론적 보장을 제공한다. (1) 충분히 많은 관측치가 확보되면, 실제 네스트 구조와 동일한 군집을 복원한다. (2) 식별된 네스트를 이용해 추정된 중첩 로짓 모델은 기존 사전 정의 네스트보다 예측 정확도가 높다.

실증 분석에서는 인도 최대 판타지 스포츠 플랫폼인 Dream11에서 7천만 명 이상의 사용자 데이터를 활용한다. 플랫폼은 다양한 콘테스트 유형(예: 머니라인, 배틀, 토너먼트 등)을 제공하며, 이들 사이에 복잡한 대체 관계가 존재한다. 실험 설계에 따라 10여 개의 어소트먼트만을 반복 제공했음에도 불구하고, 모델 추정 정확도는 기존 다중 어소트먼트 설계 대비 15~20% 향상되었다. 또한, 제안된 네스트 식별 알고리즘은 콘테스트 특성(게임 유형, 상금 규모 등) 기반 사전 클러스터링보다 높은 AUC와 로그우도 개선을 보였다. 식별된 네스트는 Dream11 경영진에게도 직관적으로 이해 가능했으며, 마케팅 및 프로모션 전략에 직접 활용될 수 있었다.

전체적으로 이 논문은 (1) 로그 규모의 어소트먼트만으로도 고차원 선택 모델을 효율적으로 추정할 수 있는 설계 원리를 제시하고, (2) 데이터 기반 네스트 식별 방법을 통해 중첩 로짓 모델의 적용 범위를 크게 확대한다는 점에서 학술적·실무적 의의가 크다. 특히 비적응적 설계와 이론적 식별 보장을 동시에 제공한다는 점은 대규모 온라인 플랫폼에서 실시간 A/B 테스트와 같은 제한된 실험 환경에 바로 적용 가능하도록 만든다. 향후 연구에서는 다중 단계 네스트 구조, 동적 어소트먼트 설계, 그리고 다른 선택 모델(예: 혼합 로그잇, 신경망 기반 선택 함수)으로의 확장 가능성을 탐색할 여지가 있다.