조합 할당 밴드잇에서 비선형 팔 효용 최적화

초록

본 논문은 매칭 플랫폼에서 인기 팔에 매치가 집중되는 문제를 해결하고자, 팔 만족도라는 비선형 효용을 최적화 목표로 하는 새로운 온라인 학습 문제인 Combinatorial Allocation Bandits (CAB)를 제안한다. CAB는 N명의 사용자와 K개의 팔에 대한 컨텍스트 벡터를 이용해 매 라운드마다 할당을 결정하고, 일반화 선형 모델(GLM) 기반 피드백을 관찰한다. 저자는 UCB 기반 알고리즘(CAB‑UCB)과 Thompson Sampling 기반 알고리즘(CAB‑TS)을 설계하고, 각각 α‑approximate regret에 대한 상한을 증명한다. 합성 데이터 실험을 통해 제안 알고리즘이 기존 매치 수 최대화 혹은 공정성 중심 방법보다 우수함을 확인한다.

상세 분석

본 연구는 기존 밴드잇 문헌이 주로 긍정 피드백(클릭, 매치) 수를 최대화하는 데 초점을 맞춘 반면, 실제 비즈니스 환경에서는 팔(예: 기업, 인기 사용자)의 만족도가 장기적인 플랫폼 수익에 결정적인 영향을 미친다는 점을 강조한다. 이를 위해 저자는 팔 만족도를 ‘매치 수에 대한 볼록 함수’로 모델링하고, 만족도의 합을 최적화 목표로 하는 새로운 문제 정의인 CAB를 제시한다. CAB는 (1) 각 라운드마다 N명의 사용자마다 K개의 컨텍스트 벡터 ϕ_t(i,a)∈ℝ^d를 관찰하고, (2) 사용자‑팔 할당 π_t∈Π를 선택하며, (3) 선택된 팔‑사용자 쌍에 대해 GLM(μ(·))에 기반한 피드백 y_t(i)∈ℝ을 관찰한다는 전형적인 컨텍스트 조합 밴드잇 구조를 갖는다. 여기서 μ는 미분 가능하고 Lipschitz 연속이며, 최소 기울기 κ_μ>0인 함수로 가정되어, 추정 오차를 제어하는 데 필수적인 강한 단조성을 제공한다.

알고리즘 설계 측면에서, CAB‑UCB는 각 팔‑사용자 쌍에 대한 추정 파라미터 θ̂_t를 정규화된 MLE(리지를 포함)로 업데이트하고, GLM 특성을 반영한 신뢰 구간을 구성한다. 신뢰 구간 폭은 d·√(N·t) 형태의 보너스 항을 포함해, 기존 선형 밴드잇에서의 O(√t) 보너스와 유사하지만, 다중 사용자·다중 팔 구조로 인해 N·t가 곱해지는 점이 특징이다. 최적 할당은 각 사용자에 대해 현재 신뢰 구간 상한을 사용해 만족도 함수 f_t(π;θ̂_t)의 α‑근사 해를 구하는 서브모듈러 복지 문제로 환원한다. 이때 서브모듈러 특성은 f_t이 팔별 매치 수의 볼록 함수 합으로 표현될 수 있음을 이용한다. 저자는 기존 1−1/e 근사 알고리즘을 적용해 α≈1−1/e 수준의 근사성을 확보하고, 이를 바탕으로 전체 regret을 O(d√(NT)+dN)으로 상한을 잡는다. 이는 선형 피드백 특수 경우에 알려진 Ω(d√(NT)+dN) 하한과 일치한다.

CAB‑TS는 보다 복잡한 샘플링 전략을 채택한다. 각 라운드마다 사용자 i마다 독립적인 파라미터 샘플 θ̃_{t,i}를 posterior(정규화된 MLE와 사전 분포의 결합)에서 추출한다. 이는 조합 구조에서 하나의 샘플만으로는 각 사용자‑팔 쌍의 불확실성을 충분히 반영할 수 없다는 점을 보완한다. 또한, 비선형 만족도 함수에 대한 기대값을 직접 계산하기 어려워, 샘플링된 파라미터를 이용해 근사 기대값을 추정하고, 서브모듈러 근사 알고리즘을 적용한다. 저자는 샘플링 분포의 집중성(concentration)과 서브모듈러 구조를 결합한 새로운 확률적 경계 기법을 도입해, regret을 O(dN√T + dN^{3/2})로 제한한다. 이는 UCB보다 약간 느리지만, 실험에서는 탐색 효율성으로 인해 경쟁력 있는 성능을 보인다.

실험에서는 K=10, N∈{20,50,100} 등 다양한 설정에서 합성 GLM(베르누이, 포아송) 데이터를 생성하고, 만족도 함수 r(·)를 로그 또는 제곱근 형태의 볼록 함수로 지정하였다. 비교 대상은 (i) 매치 수 최대화 UCB, (ii) 최소 선택 횟수 보장 공정성 알고리즘, (iii) 기존 선형 조합 밴드잇 알고리즘이다. 결과는 CAB‑UCB가 평균 만족도와 α‑근사 비율에서 가장 우수했으며, 특히 팔별 매치 분포가 고르게 퍼지는 경향을 보였다. CAB‑TS는 초기 탐색 단계에서 약간의 과다 탐색을 보였지만, 장기적으로는 UCB와 비슷한 만족도 수준을 달성했다.

이 논문은 (1) 비선형 팔 효용을 직접 목표 함수에 포함함으로써 비즈니스 친화적인 밴드잇 모델을 제시하고, (2) GLM 기반 피드백과 조합 할당을 동시에 다루는 새로운 이론적 프레임워크(CCGLS)를 정의했으며, (3) UCB와 TS 두 가지 접근법에 대해 α‑approximate regret 상한을 최초로 제공했다는 점에서 의미가 크다. 또한, 서브모듈러 복지 문제와의 연결 고리를 통해 기존 최적화 이론을 밴드잇 학습에 자연스럽게 통합한 점이 학술적 기여로 평가된다. 향후 연구에서는 실제 매칭 플랫폼 데이터에 적용하고, 동적 팔 수 변화나 다중 목표(수익·만족도·공정성) 통합을 탐색할 여지가 있다.