“O(log n) 만큼의 실험으로 선택 모델을 정확히 추정하고, 네스트(Nest)를 자동 식별한다”

📝 Abstract

What assortments (subsets of items) should be offered, to collect data for estimating a choice model over $n$ total items? We propose a structured, non-adaptive experiment design requiring only $O(\log n)$ distinct assortments, each offered repeatedly, that consistently outperforms randomized and other heuristic designs across an extensive numerical benchmark that estimates multiple different choice models under a variety of (possibly mis-specified) ground truths. We then focus on Nested Logit choice models, which cluster items into “nests” of close substitutes. Whereas existing Nested Logit estimation procedures assume the nests to be known and fixed, we present a new algorithm to identify nests based on collected data, which when used in conjunction with our experiment design, guarantees correct identification of nests under any Nested Logit ground truth. Our experiment design was deployed to collect data from over 70 million users at Dream11, an Indian fantasy sports platform that offers different types of betting contests, with rich substitution patterns between them. We identify nests based on the collected data, which lead to better out-of-sample choice prediction than ex-ante clustering from contest features. Our identified nests are ex-post justifiable to Dream11 management.

💡 Analysis

**

1. 연구 배경 및 문제 정의

• 선택 모델 추정은 소매, 자동차, 교통 정책 등 다양한 분야에서 핵심이다.
• 기존 연구는 관찰 데이터에 의존하거나, 무작위 assortments를 사용해 데이터를 생성한다. 그러나 이러한 접근은 복잡한 대체 관계(특히 Nested Logit)의 식별에 충분히 정보를 제공하지 못한다.
• 논문은 두 가지 핵심 질문을 제시한다.
  1. 어떻게 설계된 assortments를 제공해 복잡한 대체 패턴을 드러낼 수 있는가?
  2. 수집된 데이터만으로 네스트 구조를 자동으로 식별할 수 있는가?

2. 제안된 실험 설계 (Combinatorial Design)

• 아이템을 L=⌈log₂ n⌉ 비트 이진 코드로 인코딩한다.
• 각 비트 위치 ℓ에 대해 ‘1’이 있는 아이템 집합과 ‘0’이 있는 아이템 집합 두 개의 assortments를 만든다.
• 총 2·L = O(log n) 개의 실험 assortments가 필요하며, 컨트롤(전체 제공) assortments와 함께 사용한다.
• 핵심 속성: 임의의 아이템 쌍 (i, j) 에 대해 i는 포함되고 j는 제외되는 assortments가 반드시 존재한다. 이를 통해 두 아이템이 같은 네스트에 속하는지 여부를 직접 관찰할 수 있다.

3. 네스트 식별 알고리즘

• Boost factor: 실험 assortments에서 아이템의 매출(또는 선택 비율)을 컨트롤 assortments와 비교한 비율.
• 두 가지 추론 규칙
  • 작은 Boost → 제외된 아이템이 같은 네스트에 있지 않음.
  • 큰 Boost → 제외된 아이템 중 최소 하나가 같은 네스트에 있음.
• 이론적 보장
  • 노이즈가 없는 경우: Boost factor의 크기 차이가 명확히 구분될 때, 알고리즘은 정확히 네스트 파티션을 복원한다.
  • 노이즈가 있는 경우: 유한 표본에 대한 확률적 오류 한계와 샘플 복잡도를 제시한다.
  • 필수 하한: Ω(log n) 개의 비적응형 쿼리가 없으면 네스트를 완전히 식별할 수 없음을 증명한다.

4. 실험 및 실증 검증

• Dream11 적용 사례는 실제 비즈니스 환경에서 설계가 얼마나 실용적인지를 보여준다.
• **컨트롤 그룹(전체 제공)**과 **실험 그룹(14개의 binary‑encoded assortments)**을 동시에 운영함으로써 실험 기간을 최소화하고, 운영 부담을 크게 낮춤했다.

5. 이론적·실용적 기여

1. O(log n) 비적응형 설계가 다양한 선택 모델 추정에 일반적으로 유리함을 증명 (실험적·이론적).
2. 네스트 자동 식별 알고리즘을 제시하고, 정확도와 샘플 복잡도에 대한 명시적 경계 제공.
3. 실제 대규모 서비스(Dream11)에서 70 M 사용자 데이터를 활용, 설계·알고리즘의 산업 적용 가능성을 입증.
4. 해석 가능성을 강조: Markov Chain 모델이 예측 정확도에서는 우수할 수 있으나, 네스트 구조는 비즈니스 의사결정에 직관적인 인사이트를 제공한다.

6. 한계 및 향후 연구 방향

7. 결론

• 비적응형 O(log n) 설계와 데이터 기반 네스트 식별이라는 두 축을 결합함으로써, 선택 모델 추정 효율성과 비즈니스 해석 가능성을 동시에 달성했다.
• 이 접근법은 대규모 디지털 플랫폼뿐 아니라 오프라인 소매점에서도 제한된 실험 자원을 효율적으로 활용할 수 있는 실용적인 프레임워크를 제공한다.
• 향후 중첩 네스트, 다중 선택, 비정형 아이템 수 등 현실적인 복잡성을 포함한 확장이 기대된다.

**

📄 Content

에이전트 선택을 이해하는 것이 왜 중요한가?
소매업자는 고객이 서로 다른 브랜드의 제품을 어떻게 선택하는지 알고 싶어하고, 자동차 딜러는 구매자가 제공되는 모델 중 어떤 것을 고르는지 파악하고자 하며, 정책 입안자는 시민들이 교통수단을 어떻게 대체하는지를 이해하고 싶어한다. 이러한 목적을 달성하기 위해서는 선택 모델(choice model) 을 추정해야 한다. 선택 모델은 어떤 “메뉴” 혹은 “구색(assortment)”이 주어졌을 때 각 옵션이 차지하게 될 기대 시장 점유율을 명시한다.

1. 선택 모델과 시장 점유율의 관계

선택 모델은 구색을 축소하면 남은 옵션들의 시장 점유율이 집중된다는 현상을 포착한다. 가장 단순한 다항 로짓(Multi‑Nomial Logit, MNL) 모델에서는 모든 옵션의 점유율이 동일한 비율(%)만큼 증가한다고 가정한다. 예를 들어, 표 1의 Day 2에서 우유( )와 보바( )가 제공되지 않았을 때, 사과 주스( )와 오렌지 주스( )의 판매량이 모두 20 % 상승하였다. 이는 Day 1(모든 음료가 제공된 날) 대비 두 음료가 동일한 비율로 증가했음을 의미한다. 따라서 Day 2에는 원래 해당 음료를 선호하던 고객 중 일부가 다른 음료( 또는 )로 전환했을 가능성이 있다.

하지만 MNL 가정은 실제로 자주 깨진다. Day 3을 보면, 가 제공되지 않았을 때 의 판매량은 Day 1 대비 두 배가 되었다(200 % 증가) 반면, 와 는 여전히 20 % 정도만 상승했다. 이는 와 가 와 보다 가깝게 대체 가능한 관계에 있음을 시사한다. 이러한 경우에는 Nested Logit과 같이 아이템을 “대체군(nest)” 으로 묶는 보다 풍부한 선택 모델이 필요하다. Nested Logit 하에서는 고객이 가장 좋아하는 음료 가 제공되지 않을 경우, 같은 대체군에 속한 다른 주스( )로 전환할 확률이 높고, 다른 대체군( , )에 속한 음료로 전환할 확률은 낮다.

또한 Day 3에서는 각 대체군당 최소 하나의 아이템이 제공되었기 때문에 전체 매출 손실이 적었다. 이는 아이템을 어떤 대체군에 묶을 것인가를 사전에 파악하는 것이 실험 설계에 있어 중요함을 보여준다.

2. 실험 설계 문제

리치한 대체 패턴을 탐지하고 복잡한 선택 모델을 추정하려면 구색(assortment)의 변동이 필요하다. 그러나 표 1의 예시처럼, 와 가 매일 동시에 제공되거나 동시에 제외되었다면 두 제품이 가까운 대체군인지 여부를 판단할 수 없었다. 따라서 다음과 같은 핵심 연구 질문이 등장한다.

어떻게 구색을 의도적으로 설계하여 복합적인 대체 패턴을 드러내고, 풍부한 선택 모델을 정확히 추정할 수 있을까?

대부분의 실증 논문은 관찰 데이터(연구자가 구색을 통제할 수 없는 상황)만을 사용하기 때문에 이 질문을 다루지 않는다(섹션 2.1). 반면, 합성 데이터를 이용하는 논문들은 무작위 구색(randomized assortments) 에서 데이터를 수집하는데, 이는 데이터 수집 효율성이 최적이 아니다(섹션 2.2).

2.1 우리의 접근법

본 논문에서는 조합적 설계(combinatorial design) 를 도입한다(섹션 1.1). 이 설계는 소수의 실험 구색만을 의도적으로 배열함으로써 무작위 구색보다 훨씬 더 많은 정보를 제공한다. 이를 검증하기 위해 Berbeglia et al. [2022] 의 수치 실험 프레임워크를 그대로 재현하고, 무작위 구색을 우리의 설계로 교체했을 때 추정 오차가 일관되게 감소함을 보였다(섹션 1.3). 비록 설계가 Nested Logit에 영감을 받았지만, 실제로는 모든 종류의 선택 모델(MNL, Latent‑class MNL, Markov Chain 등) 추정 정확도를 향상시켰다.

2.2 실무 적용 사례

2025년 봄, 20일 동안 인도 판타지 스포츠 플랫폼 Dream11(사용자 7천만 명)에서 본 설계를 적용하였다(섹션 1.4). Dream11은 다양한 형태의 “콘테스트” 를 제공하고, 사용자가 어떤 콘테스트에 참여할지 선택하는 과정을 이해하고자 한다.

3. 대체군(Nest) 식별 문제

실험이 진행된 뒤, Dream11의 운영진은 콘테스트들을 어떤 대체군으로 묶을 수 있을지 알고 싶어했다. 콘테스트는 종류가 다양하고, 사전에 “주스와 같은” 직관적인 분류가 어려워 주관적인 분류에 의존하기 힘들었다. 따라서 두 번째 연구 질문을 제시한다.

주관적인 판단이 아닌, 실제 판매 데이터를 기반으로 대체군을 자동으로 식별하려면 어떻게 해야 할까?

기존 Nested Logit 추정 논문(섹션 2.6)은 대체군이 고정돼 있다고 가정하고, 다른 파라미터만을 추정한다. 통계 패키지(예: Stata의 nlogit)도 동일한 가정을 전제로 한다. 대체군을 식별하는 연구는 매우 드물다(섹션 2.6).

3.1 우리의 알고리즘

우리는 표 1 에서 얻은 직관을 활용한 새로운 대체군 식별 알고리즘을 제안한다.

1. Boost factor 정의

   • 각 실험 구색(예: Day 2, Day 3)에서 아이템 i의 Boost factor 를
     [ \text{Boost}i = \frac{\text{판매량}{i,; \text{실험 구색}}}{\text{판매량}_{i,; \text{통제 구색(Day 1)}}} ]
     로 정의한다.

2. 두 가지 추론

   • I. “작은” Boost factor : Boost ≈ 1.2(예: ) → 해당 아이템이 제외된 다른 아이템과는 가까운 대체군이 아니다. 즉, 와 는 와 와 같은 대체군에 속하지 않는다.
   • II. “큰” Boost factor : Boost ≈ 2(예: ) → 제외된 아이템 중 적어도 하나는 가까운 대체군에 속한다. 여기서는 가 가 와 같은 대체군에 포함된다.

이론적으로는 Boost factor의 크기 차이를 완벽히 구분할 수 있다고 가정하면, 정확한 대체군 식별이 보장된다(섹션 1.2). 실제 데이터에서는 노이즈가 존재하므로, 노이즈에 강인한 경험적 버전을 개발하였다. 이를 Benson et al. [2016] 의 알고리즘과 비교했으며, 합성·실제 데이터 모두에서 우수함을 확인했다(섹션 1.3). 우리의 알고리즘은 소수의 구색에 대한 반복 관측을 활용한다는 점에서 기존 방법과 차별화된다.

4. 설계 원리와 구체적 구현

4.1 구색 설계의 핵심 속성

우리 설계는 **“어떤 아이템 i와 j에 대해, i는 포함하고 j는 제외하는 구색 S가 존재한다”**는 속성을 만족한다. 이 속성을 만족하면, i가 제외될 때 j의 Boost factor 변화를 관찰함으로써 두 아이템이 같은 대체군에 속하는지 판단할 수 있다.

4.2 이진 인코딩을 이용한 구색 구성

• n = 8 개 아이템을 예로 들면, L = ⌈log₂ n⌉ = 3 비트가 필요하다.
• 각 아이템에 고유한 3‑bit 이진 코드를 부여한다(표 2 참조).
• 각 비트 위치 ℓ(ℓ = 1,…,L)마다 두 개의 구색을 만든다:
  1. ℓ‑th 비트가 1인 아이템들을 모두 포함하는 구색
  2. ℓ‑th 비트가 0인 아이템들을 모두 포함하는 구색(보완 구색)

이렇게 하면 총 2L = 6개의 실험 구색이 필요하고, 통제 구색(모든 아이템 포함) 을 추가하면 7개의 구색만으로도 위 속성을 만족한다.

4.3 일반적인 경우

• n 개 아이템에 대해 L = ⌈log₂ n⌉ 비트를 사용한다.
• 필요 구색 수는 2L = 2⌈log₂ n⌉ 로, O(log n) 수준이다.
• 각 구색은 ≈ n/2 개 아이템을 포함하므로, 관측당 정보량이 최대가 된다.

5. 이론적 보장

5.1 무노이즈 상황

• Boost factor가 서로 다른 대체군 간에 겹치지 않는다는 “일반 위치(general position)” 가정을 둔다.
• 추론 I: 구색 S에 완전히 포함된 대체군 N에 속한 모든 아이템은 작은 Boost 를 보인다 → N은 S 바깥 아이템과 구분된다.
• 추론 II: 구색 S에 일부만 포함된 대체군 N에 속한 아이템은 크고 서로 다른 Boost 를 보인다 → S∩N 은 같은 대체군이며, S\N 과는 구분된다.

이 두 추론을 모든 실험 구색에 적용하면 숨겨진 파티션 N(대체군 구분)을 O(log n) 개의 비적응적 구색만으로 정확히 복원할 수 있다(섹션 4). 또한 Ω(log n) 개 이상의 구색이 없이는 식별이 불가능함을 증명한다(하한).

5.2 노이즈와 샘플 복잡도

• 정확한 시장 점유율이 관측되지 않을 경우, 유한 표본 보장(finite‑sample guarantee) 을 제공한다.
• “외부 옵션(구매 안 함)”이 존재하지 않아도, 보다 정교한 추론을 통해 동일한 식별 결과를 얻는다(섹션 4).

6. 실험적 검증

6.1 합성 데이터와 Berbeglia et al. [2022] 재현

• 10개 아이템, 잘못 지정된( miss‑specified) 실제 모델을 사용한다.
• 무작위 구색(크기 3–6) 대신 우리 설계(≈ n/2 크기) 로 교체한다.
• soft RMSE 가 **5.1 %**까지 감소했으며, 특히 데이터가 적을 때 효과가 크게 나타났다.

6.2 랜덤 설계와 비교

• 동일한 실험 구색 수를 유지한다면 우리 설계가 우수하지만, **랜덤

이 글은 AI가 자동 번역 및 요약한 내용입니다.