최대 K‑팔 밴딧: PAC 하한과 효율적 알고리즘

본 논문은 “Max K‑Armed Bandit”이라는 새로운 형태의 밴딧 문제를 정의하고, 그 이론적 한계와 실용적 해결책을 제시한다. 전통적인 MAB 문제는 누적 보상을 최대화하거나 평균 보상이 가장 큰 팔을 찾는 것이 목표였지만, 여기서는 각 팔이 생성하는 아이템 자체가 가치가 있으며, 전체 아이템 중 **가장 큰 보상**을 직접 찾는 것이 목적이다. 이를 위해 에이전트는 매 타임스텝마다 하나의 팔을 선택하고, 해당 팔에서 i.i.d. 보상 \(X\) 를 관측한다. 각 팔 \(k\) 의 보상 분포는 CDF \(F_k\) 로 표현되며, 최대 가능한 보상은 \(\mu^{*}_k = \inf\{\mu: F_k(\mu)=1\}\) 로 정의된다. 전체 최댓값은 \(\mu^{*} = \max_k \mu^{*}_k\) 이다. 핵심 가정은 **꼬리함수 하한**이다. 각 팔에 대해 꼬리함수 \(G_k(\epsilon)=1-F_k(\mu^{*}_k-\epsilon)\) 가 존재하고, 모든 팔에 대해 알려진 함수 \(G^{*}(\epsilon)\) 가 \(\forall k,\, G_k(\epsilon)\ge G^{*}(\epsilon)\) 를 만족한다. 즉, 보상 분포가 최대값 근처에 최소한 \(G^{*}(\epsilon)\) 만큼의 확률 질량을 가지고 있다는 의미다. 이 가정은 실제 상황에서 보상 밀도가 최대값 근처에서 일정 수준 이상인 경우에 자연스럽게 성립한다. ### 1. 하한 (Lower Bound) Assumption 1과 \(G^{*}\) 가 **볼록**(concave)이라는 추가 조건 하에, 저자들은 모든 \((\epsilon,\delta)\)-정확 알고리즘에 대해 샘플 복잡도 하한을 도출한다. 정리 1에 따르면, 최적 팔 \(k^{*}\) 를 제외한 각 비최적 팔 \(k\) 에 대해 \