- Title: Optimization of a SSP s Header Bidding Strategy using Thompson Sampling
- ArXiv ID: 1807.03299
- 발행일: 2018-07-11
- 저자: Gr egoire Jauvion, Nicolas Grislain, Pascal Sielenou Dkengne (IMT), Aur elien Garivier (IMT), S ebastien Gerchinovitz (IMT)
📝 초록
지난 10년 동안 디지털 미디어(웹 또는 앱 출판자)는 실시간 광고 경매를 사용하여 광고 공간을 판매하는 것을 일반화했습니다. 여러 경매 플랫폼인 공급 측면 플랫폼(SSP)이 생성되었습니다. 이러한 다수성으로 인해 출판자는 SSP들 간의 경쟁을 만들기 시작했습니다. 이 설정에서는 두 가지 연속적인 경매가 진행됩니다: 각 SSP에서 제2 가격 경매와 SSP들 사이에서 이루어지는 제1 가격 경매인 헤더 입찰 경매입니다. 본 논문에서는 다른 SSP들과 경쟁하는 하나의 SSP를 고려합니다. 이 SSP는 광고주가 광고 공간을 구매하고자 할 때 중개자의 역할을 하며, 출판자가 광고 공간을 판매하길 원할 때도 마찬가지입니다. 그리고 광고주의 요구에 맞게 최대한 많은 광고를 전달하면서 최소한의 비용으로 경매에 참여하기 위한 입찰 전략을 정의해야 합니다. 이 SSP의 수익 최적화는 컨텍스트 밴딧 문제로 표현될 수 있으며, 컨텍스트에는 광고 기회에 대한 정보가 포함됩니다. 예를 들어 인터넷 사용자 또는 광고 배치 속성과 같은 정보입니다. 클래식한 다중 팔레트 밴딧 전략(UCB와 EXP3의 원본 버전을 포함)은 이 설정에서 효과적이지 않으며, 수렴 속도가 낮습니다. 본 논문에서는 이러한 상관관계를 쉽게 고려할 수 있는 Thompson Sampling 알고리즘의 변형을 설계하고 실험합니다. 이 베이지안 알고리즘과 입자 필터를 결합하여 비정상성을 다룰 수 있습니다. 이를 통해 경매에서 승리하기 위해 극대화해야 하는 최고 입찰 가격의 분포를 순차적으로 추정할 수 있습니다. 우리는 이 방법론을 두 개의 실제 경매 데이터셋에 적용하고, 더 전통적인 접근법보다 크게 우수함을 보여줍니다. 본 논문에서 정의된 전략은 전 세계 수천 명의 출판자에게 배포될 계획입니다.
💡 논문 해설
**핵심 요약**: 이 논문에서는 공급 측면 플랫폼(SSP)이 다른 SSP들과 경쟁하며 광고 공간을 구매하는 데 사용되는 최적화된 헤더 입찰 전략에 대해 설명합니다. 이를 위해 Thompson Sampling 알고리즘과 입자 필터를 결합한 새로운 방법론을 제시하고, 실제 데이터셋에서 이 방법이 더 효과적인 것으로 나타났음을 보여줍니다.
문제 제기: 공급 측면 플랫폼(SSP)은 광고주와 출판자가 서로 거래할 수 있도록 중개자 역할을 합니다. 이러한 SSP는 최대한 많은 광고를 전달하면서 최소한의 비용으로 경매에 참여하기 위한 입찰 전략을 정의해야 합니다. 그러나 클래식한 다중 팔레트 밴딧 알고리즘은 이 문제에서 효과적이지 않았으며, 경매가 연속적으로 이루어지는 상황에서는 수렴 속도가 느렸습니다.
해결 방안 (핵심 기술): 본 논문에서는 이러한 문제를 해결하기 위해 Thompson Sampling 알고리즘이라는 베이지안 접근법을 사용합니다. 이 알고리즘은 경매에서 승리하기 위한 최적의 입찰 가격을 결정하는 데 사용됩니다. 또한, 비정상성을 다루기 위해 입자 필터가 결합되어 있습니다. 이러한 방법론을 통해 SSP는 각 경매에 참여할 때마다 그때그때의 상황에 맞게 입찰 가격을 최적화할 수 있게 됩니다.
주요 성과: 논문에서 제시된 방법론은 두 개의 실제 데이터셋에서 더 전통적인 밴딧 알고리즘(UCB와 EXP3)보다 우수한 결과를 보여주었습니다. 이는 특히 비정상성을 다루는 데 있어서 큰 차이가 있음을 나타냅니다.
의의 및 활용: 이 논문은 SSP들이 경매에서 더 효과적으로 입찰할 수 있는 방법을 제시함으로써, 광고 산업 내에서 더욱 효율적인 거래를 가능하게 합니다. 특히 비정상성을 고려한 입찰 전략 개발은 실시간 경매 시장에서 매우 중요한 역할을 하며, 이는 결국 출판자와 광고주의 이익 증대에 기여합니다.
📄 논문 발췌 (ArXiv Source)
# 서론
실시간 입찰(RTB)은 웹 출판자가 인터넷 사용자와 광고주 사이에서 실시간 경매를 통해 광고 공간을 판매하는 메커니즘입니다. 일반적으로, 출판자는 다양한 공급 측면 플랫폼(SSP)을 통해 광고 공간을 판매합니다. 이 SSP는 광고주가 입찰할 수 있도록 중개 역할을 합니다.
출판자는 여러 SSP와 상호 작용하는 몇 가지 방법이 있습니다. 헤더 입찰 없이 일반적인 광고 판매 메커니즘인 워터폴 메커니즘에서는, SSP들은 서로 다른 우선 순위에 위치하며 각각 고유의 바닥 가격을 설정합니다(보통 우선순위가 높을수록 바닥 가격도 높습니다). 광고 공간은 가장 높은 우선 순위를 가진 SSP에게 판매되며, 그 가격이 바닥 가격 이상일 때만 판매됩니다.
헤더 입찰은 이러한 설정에서 두 가지 연속적인 경매가 진행되는 메커니즘입니다. 각 SSP에서는 제2 가격 경매가 이루어지며, 이를 통해 광고주들이 서로 경쟁하게 됩니다. 또한, SSP들 사이에는 제1 가격 경매인 헤더 입찰 경매가 이루어집니다.
본 논문에서 고려하는 하나의 SSP는 다른 SSP들과 경쟁하며 광고 공간을 구매하는 역할을 합니다. 이 SSP는 중개자의 역할로, 광고주와 출판자가 서로 거래를 할 수 있도록 돕습니다. 이를 위해 최대한 많은 광고를 전달하면서도 최소한의 비용으로 경매에 참여하기 위한 입찰 전략을 정의해야 합니다.
이 SSP의 수익 최적화는 컨텍스트 밴딧 문제로 표현될 수 있습니다. 여기서 컨텍스트에는 광고 기회에 대한 정보가 포함됩니다. 예를 들어 인터넷 사용자 또는 광고 배치 속성과 같은 정보입니다.
클래식한 다중 팔레트 밴딧 전략(UCB와 EXP3의 원본 버전을 포함)은 이 설정에서 효과적이지 않으며, 수렴 속도가 느립니다. 본 논문에서는 이러한 상관관계를 쉽게 고려할 수 있는 Thompson Sampling 알고리즘의 변형을 설계하고 실험합니다.
이 베이지안 접근법과 입자 필터를 결합하여 비정상성을 다룰 수 있습니다. 이를 통해 경매에서 승리하기 위해 극대화해야 하는 최고 입찰 가격의 분포를 순차적으로 추정할 수 있습니다.
방법론
본 논문에서는 Thompson Sampling 알고리즘을 사용하여 SSP의 헤더 입찰 전략을 최적화하는 방법을 제시합니다. 이 알고리즘은 베이지안 접근법으로, 경매에서 승리하기 위한 최적의 입찰 가격을 결정하는 데 사용됩니다.
입자 필터는 비정상성을 다루기 위해 결합되어 있습니다. 이를 통해 SSP는 각 경매에 참여할 때마다 그때그때의 상황에 맞게 입찰 가격을 최적화할 수 있게 됩니다.
헤더 입찰 데이터셋 구축
실제로, SSP들은 서로의 입찰 내용을 공유하지 않기 때문에, 모든 SSP들의 입찰 정보가 포함된 데이터셋은 존재하지 않습니다. 본 논문에서 사용한 데이터셋은 두 개의 웹 출판자를 대상으로 한 것으로, 특정 SSP가 실시간 경매(RTB)를 통해 1주일 동안 진행한 경매 결과를 기반으로 합니다.
이 두 개의 웹 출판자에 대해서는 다음과 같은 방법을 통해 인공적으로 데이터셋을 구축하였습니다:
모든 경매에서 참여하는 광고주들은 무작위로 A 그룹과 B 그룹 중 하나로 배정되었습니다.
각 경매에서는 A 그룹의 광고주의 입찰은 SSP인 $\mathcal{S}_1$이 진행한 내부 경매의 결과로 간주되었으며, B 그룹의 광고주의 입찰은 다른 SSP들이 헤더 입찰 경매에서 제출한 입찰로 간주되었습니다.
따라서, 특정 경매 $i$에서는 내부 경매의 종료 가격 $p_i$는 A 그룹의 광고주의 두 번째로 높은 입찰가로 결정되었으며, 다른 SSP들의 최고 입찰가 $x_i$는 B 그룹의 광고주의 가장 높은 입찰가로 결정되었습니다.
A 그룹에서 두 개 이상의 입찰이 없거나 B 그룹에서 하나 이상의 입찰이 없는 경매는 데이터셋에서 제외되었습니다.
이렇게 구축된 두 개의 데이터셋을 $P_1$과 $P_2$라고 명명합니다. 이 데이터셋들의 주요 특징은 다음과 같습니다:
$P_1$
$P_2$
경매 수
1,496,294
410,840
사용자 수
875,634
269,272
광고 배치 수
3,526
31
경매에서 $x_i \leq p_i$인 비율
$55.2\%$
$48.4\%$
데이터셋 $P_1$과 $P_2$의 주요 특징.
실험 환경
본 논문에서 제시된 방법론은 두 가지 환경에서 평가되었습니다:
정상적인 환경: 데이터를 무작위로 섞어서 사용합니다. 이 설정을 통해 전략이 정상적인 환경에서 어떻게 작동하는지 평가할 수 있습니다.
비정상적인 환경: 데이터를 시간 순으로 정렬하여 사용합니다. 이 경우, 데이터는 비정상적이며, 입찰 가격은 하루 중 특정 시점에 크게 달라질 수 있습니다.
모든 입찰 가격은 일정한 상수로 곱해져 조정되었습니다.
초기 실험
본 논문에서는 제시된 방법론이 두 개의 실제 데이터셋($P_1$과 $P_2$)에서 어떻게 작동하는지 평가하였습니다. 이러한 실험을 통해, 제안된 Thompson Sampling 전략이 더 전통적인 밴딧 알고리즘(UCB와 EXP3)보다 우수한 성능을 보여주었다는 사실을 확인할 수 있었습니다.
