경매 실험에서 제한된 예산이 초래하는 편향과 무작위화 전략

본 논문은 디지털 광고 시장에서 광고주가 제한된 재정·처리 능력으로 인해 경매 참여가 스로틀링되는 상황을 전제로, A/B 실험 설계와 분석에 내재된 편향 문제를 심도 있게 탐구한다. 1. **문제 정의와 인과 모델** 저자는 각 (쿼리, 광고주) 쌍에 대해 치료와 대조 두 가지 잠재 입찰값 Bᵢ(1), Bᵢ(0)과 그에 대응하는 결제금액 Yᵢ(1), Yᵢ(0)를 정의한다. 입찰 자체는 광고주가 자신의 정보만을 기반으로 결정되므로 SUTVA가 성립하지만, 결제금액은 동일 경매에 참여하는 다른 광고주의 입찰·처리 상태에 따라 달라진다. 따라서 결제금액에 대해서는 ‘간섭(interference)’이 존재한다는 가정을 명시한다. 2. **스 로틀링 메커니즘** 광고주는 예산·인프라 제한으로 모든 쿼리를 처리하지 못한다. 이를 모델링하기 위해 스로틀링 변수 Wᵢ(Z)∈{0,1}를 도입하고, 스로틀링 분포 p(W|Z)를 가정한다. 스로틀링은 치료 할당 Z에 따라 달라질 수 있다. 스로틀링이 존재하면, 잠재 결제금액 Yᵢ(Z)는 자신과 동일 쿼리 내 다른 광고주의 스로틀링 여부에 의존한다. 3. **실험 설계: 두 가지 무작위화 방식** - **쿼리 무작위화**: 전체 쿼리를 치료 혹은 대조에 할당하고, 해당 쿼리의 모든 광고주가 동일한 처리군에 속한다. 이는 간섭을 완전히 차단한다. - **(쿼리, 광고주) 무작위화**: 각 광고주‑쿼리 쌍을 독립적으로 치료·대조에 배정한다. 일부 광고주가 치료, 일부가 대조인 동일 경매가 발생해 간섭이 발생한다. 두 방식 모두 무작위화 전 단계에서 스로틀링이 이루어지므로, 스로틀링 자체가 처리에 영향을 미칠 수 있다. 4. **편향 사례 분석** - **동일하지만 독립적인 입찰자**: K명의 광고주가 모두 동일한 치료 입찰 R₁과 동일한 대조 입찰 R₀을 가진다. (쿼리, 광고주) 무작위화 하에 추정량 ˆτ는 대부분 R₁을 사용하고, 오직 전부 대조인 경우에만 -R₀를 사용한다. 결과적으로 편향은 (1/2^{K-1})·τ + (1-1/2^{K-1})·R₁ 형태로, K가 커질수록 R₀에 근접한다. 즉, 실제 효과 τ와 무관하게 큰 양의 편향이 발생한다. - **치료 입찰이 대조 입찰을 압도**: 치료 입찰이 대조 입찰보다 모두 높아 승자를 치료 입찰이 차지한다. 이 경우에도 (쿼리, 광고주) 무작위화는 대부분 치료 입찰이 승리하도록 만들며, 대조가 전혀 승리하지 못한다. 편향은 최소 τ·(1/2^{K-1}) + A_K 형태로, A_K는 최고 치료 입찰값에 수렴한다. 두 예시는 무작위화가 동일 경매 내에 치료·대조 광고주를 혼합하면 결제금액에 대한 간섭이 어떻게 추정치를 크게 왜곡시키는지를 보여준다. 5. **스 로틀링 실험과 예산 분리** 스로틀링 자체를 실험 대상으로 할 때는 두 가지 예산 관리 방식을 제안한다. - **조인트 쿼터**: 치료와 대조가 동일 예산 풀을 공유한다. 치료가 예산을 더 빨리 소진하면 대조 광고주의 참여 기회가 감소해 편향이 크게 발생한다. - **스플릿 쿼터**: 각 처리군이 독립적인 예산을 갖는다. 치료와 대조가 서로의 예산에 영향을 주지 않으므로, 편향이 현저히 감소한다. 시뮬레이션 결과는 조인트 쿼터에서 추정 편향이 매우 크고, 스플릿 쿼터에서는 편향이 거의 사라짐을 확인한다. 또한, 쿼리 무작위화 하에서는 스로틀링 여부와 관계없이 추정량이 무편향임을 증명한다. 6. **실무적 시사점** - 광고 플랫폼은 A/B 테스트 설계 시, 가능한 한 ‘쿼리 수준 무작위화’를 채택해 간섭을 방지해야 한다. - 스로틀링을 실험하고자 할 경우, 각 처리군에 별도 예산(스플릿 쿼터)을 할당해 예산 경쟁으로 인한 편향을 최소화한다. - 실험 대상이 전체 광고주가 아니라 일부에 국한될 때는 (쿼리, 광고주) 무작위화가 불가피하지만, 이 경우 편향 보정 방법(예: 가중치 조정, 모델 기반 보정) 필요성을 인식해야 한다. 7. **결론** 논문은 경매 실험에서 ‘입찰 변화’와 ‘스 로틀링 변화’라는 두 가지 주요 처리 유형을 구분하고, 각각에 대해 무작위화 설계가 추정 편향에 미치는 영향을 정량적으로 분석한다. 핵심 결과는 (1) 동일 경매 내 치료·대조 혼합이 결제금액에 대한 간섭을 일으켜 큰 편향을 만든다, (2) 쿼리 수준 무작위화는 이를 근본적으로 해결한다, (3) 스로틀링 실험에서는 예산을 처리·대조군 별로 분리하는 스플릿 설계가 편향을 크게 감소시킨다. 이러한 통찰은 디지털 광고 플랫폼이 과학적 실험을 설계하고, 실험 결과를 신뢰성 있게 해석하는 데 필수적인 지침을 제공한다.