불완전 정보와 비용 제한 하에서 순차 샘플링을 위한 적응 정책

초록

본 논문은 비용 상한을 만족하면서 무한 기간 평균 성과를 최대화하고자 하는 순차 샘플링 문제를 다룬다. 결과 분포를 사전에 알 수 없는 상황에서, 저자들은 일관성을 보장하는 적응형 정책 집합을 제시하고, 각 정책의 수렴 속도를 시뮬레이션으로 비교한다.

상세 분석

이 연구는 전통적인 다품목 밴딜(MAB) 문제에 비용 제약이라는 새로운 차원을 도입한다는 점에서 의미가 크다. 기존 MAB 모델은 보통 보상(또는 손실)만을 최적화 대상으로 삼지만, 실제 산업 현장에서는 각 선택에 드는 비용이 제한적일 때가 많다. 논문은 “평균 비용 ≤ 상한”이라는 제약을 평균적인 관점에서 정의하고, 이를 만족하면서 기대 보상을 극대화하는 정책을 설계한다.

핵심 아이디어는 “일관성(consistent)”이라는 개념이다. 정책 π가 일관적이라는 것은, 어떤 모집단의 평균 보상이 μ_i이고 비용이 c_i라 할 때, 시간 t→∞에 평균 보상 (\bar{R}_t)가 실제 최적값 μ* (완전 정보 하에서 비용 제약을 만족하는 최적 정책의 평균 보상)으로 거의 확실히 수렴한다는 의미다. 이를 위해 저자들은 두 단계의 탐색-활용 메커니즘을 채택한다. 첫 단계에서는 각 모집단을 일정 비율로 초기 탐색하여 평균 비용과 보상의 추정치를 얻고, 두 번째 단계에서는 현재까지의 추정치를 기반으로 비용-보상 비율이 가장 높은 모집단을 우선 선택한다. 중요한 점은 비용 추정치가 불확실할 경우, 비용이 낮은 대안군을 일정 비율로 유지함으로써 비용 초과 위험을 완화한다는 것이다.

수학적으로는 라그랑주 승수를 이용해 비용 제약을 라그랑지안 형태로 변형하고, 이를 기반으로 “가치 함수”를 정의한다. 각 시점 t에서 선택할 모집단 i는
\