예산 제약 하 온라인 플랫폼을 위한 최적 A/B 실험 설계

초록

본 논문은 구매자 예산이 제한된 양면 플랫폼에서 기존 베르누이 무작위화가 초래할 수 있는 예산 초과 문제를 해결한다. 저자들은 예산을 만족하는 할당 집합을 근사화하고, 편향을 O((m/n)^{2/3}) 수준으로 제한하면서 분산을 최소화하는 실험 설계 방법을 제시한다. 설계는 볼록 최적화와 온라인 알고리즘으로 구현되며, 합성 데이터와 텐센트 실험 데이터를 통해 기존 수정 베르누이 방식 대비 평균 제곱 오차를 약 20% 감소시킴을 입증한다.

상세 분석

이 연구는 두 종류의 할당 알고리즘 W₀ (기존)와 W₁ (신규) 사이의 총 효용 차이 τ 를 정확히 추정하고자 한다. 양면 플랫폼에서는 각 구매자 j 가 예산 b_j 이하의 비용 c_{ij} 을 사용해 아이템 i 를 할당받을 수 있다. 전통적인 A/B 테스트는 아이템 수준에서 베르누이 무작위화를 적용하지만, 예산 제약이 존재하면 동일 아이템이 두 할당에 동시에 할당되거나, 한 구매자가 예산을 초과하는 상황이 발생한다. 이를 해결하기 위해 논문은 먼저 “실험 행렬” X 를 정의하고, 각 아이템이 구매자 j 에 할당될 확률 x_{ij} 를 독립적으로 지정한다. 그러나 X만으로는 예산을 보장할 수 없으므로, 샘플링된 할당 W 에 대해 후처리 단계에서 예산 초과를 조정한다. 이 조정은 각 구매자의 비용 합이 b_j 이하가 되도록 가장 작은 손실을 주는 방식으로 수행되며, 이는 전형적인 0‑1 배낭 문제의 근사와 유사하다.

핵심 이론적 기여는 두 가지이다. 첫째, 편향 상한을 O((m/n)^{2/3}) 으로 제시함으로써, 아이템 수 m 과 구매자 수 n 의 비율이 클수록 편향이 급격히 감소함을 보인다. 둘째, 분산 최소화를 위한 목적함수는 볼록 형태이며, 라그랑주 승수를 이용한 이중 문제를 풀어 최적 X 를 얻는다. 최적화는 전형적인 선형 제약(예산)과 확률 제약(0≤x_{ij}≤1, ∑j x{ij}≤1)을 포함하므로, 표준 볼록 최적화 솔버로 효율적으로 해결된다.

또한, 실시간으로 아이템이 순차적으로 도착하는 온라인 환경을 고려해 O(m) 시간 복잡도의 온라인 알고리즘을 설계한다. 매 아이템이 들어올 때마다 현재 남은 예산을 기준으로 x_{ij} 를 비례적으로 조정하고, 즉시 할당을 확정한다. 이는 기존의 오프라인 최적 설계와 거의 동일한 편향·분산 특성을 유지한다는 이론적 보장을 제공한다.

실험 부분에서는 (1) 다양한 예산 비율 (β = Σb_j / Σc_{ij}) 과 공급‑수요 비율 (ρ) 하에서 합성 데이터를 이용해 편향·분산을 측정했고, 제안 방법이 베르누이 무작위화 대비 평균 제곱 오차(MSE)를 15‑25% 정도 감소시켰다. (2) 텐센트 광고 플랫폼의 실제 로그 데이터를 활용해, 두 할당 알고리즘 간의 클릭‑전환 효용 차이를 추정하였다. 실제 데이터에서도 제안 설계가 수정 베르누이 방식보다 MSE를 약 20% 낮추었으며, 특히 예산이 충분히 클 때(β > 0.8) 편향이 거의 사라지는 현상이 관찰되었다.

한계점으로는 (i) 예산 초과 조정 단계가 근사적이며, 최적 해와의 차이가 존재할 수 있다. (ii) 비용 c_{ij} 가 정수일 경우 배낭 문제의 복잡도가 증가해 근사 비율에 따라 성능 변동이 있다. (iii) 구매자 행동이 동적(예산이 실시간으로 변동)인 경우 현재 모델은 정적 예산 가정에 머물러 있다. 향후 연구에서는 동적 예산 모델링, 다중 목표(예: 클릭·노출·수익) 최적화를 위한 다목적 설계, 그리고 강화학습 기반 실험 설계와의 통합을 탐색할 수 있다.