조합적 탐색을 활용한 고정예산 최적 팔 식별 알고리즘

초록

본 논문은 한 번에 여러 팔을 선택해 평균 보상을 관측하는 새로운 베스트 팔 식별(BAI) 프레임워크를 제안한다. 저자는 로그₂K개의 팔 그룹을 해밍 코드 방식으로 구성하고, 각 그룹에 대해 최적 팔 존재 여부를 검증하는 가능도비 검정(LRT)을 수행한다. 이후 해밍 디코딩을 통해 유일한 최적 팔을 결정한다. 새로운 난이도 파라미터 H₄를 도입해 오류 확률의 상한을 유도하고, 기존 단일 팔 알고리즘보다 예산이 제한된 상황에서 우수한 성능을 보이는 경우를 실험적으로 확인한다.

상세 분석

이 논문은 전통적인 다중 팔 밴딧 문제에서 “한 번에 하나의 팔만 선택”이라는 가정을 완전히 탈피한다는 점에서 혁신적이다. 저자는 각 시간 슬롯에서 임의의 팔 집합을 선택하고, 그 집합에 속한 모든 팔의 보상의 샘플 평균을 하나의 관측값으로 받는다. 이렇게 하면 탐색 범위는 넓어지지만, 개별 팔에 대한 정보는 희석된다는 트레이드오프가 발생한다. 이를 해결하기 위해 저자는 해밍 코드의 패리티 비트를 활용해 팔을 log₂K개의 그룹으로 나눈다. 구체적으로, 팔 번호 i‑1의 이진 표현에서 k번째 비트가 1이면 팔 i를 그룹 Gₖ에 포함시키는 방식이다. 해밍 코드는 최소 거리 3을 보장하므로, 단일 비트 오류(즉, 최적 팔이 포함된 그룹과 포함되지 않은 그룹을 구분)만으로도 최적 팔을 고유하게 식별할 수 있다.

그 후, 각 그룹에 대해 “최적 팔이 존재한다”와 “존재하지 않는다”라는 두 가설을 두고, 사전 확률(최악의 경우를 가정한 균등 사전)과 관측된 평균 보상을 이용해 가능도비 검정(LRT)을 수행한다. LRT는 가설 간 로그우도 차이를 계산해 임계값을 초과하면 최적 팔이 해당 그룹에 포함된 것으로 판단한다. 모든 그룹에 대해 검정을 마친 뒤, “모든 검정에서 긍정된” 그룹들의 교집합을 취하면 유일한 최적 팔이 도출된다.

이 알고리즘의 핵심 이론적 기여는 새로운 난이도 파라미터 H₄ = 1/(Δ₁+Δ_K)²이다. 기존 연구에서는 H₁, H₂, H₃와 같은 파라미터가 사용되었으며, 이들은 주로 개별 팔 간의 갭 제곱합이나 최대 갭에 기반한다. H₄는 최악의 갭(Δ₁)과 최댓값(Δ_K)의 합에 대한 역제곱 형태로, 그룹 테스트의 분리 가능성을 직접적으로 측정한다. 논문은 가정 1(분리 가능성 조건) 하에 오류 확률 p_T ≤ 2·log₂K·exp(−T·η·H₄) 형태의 상한을 증명한다(η≤1은 상수). 이는 기존 단일 팔 알고리즘의 상한인 exp(−T·H₂)보다 로그 팩터가 작지만, H₄가 H₂보다 크게 될 경우(특히 Δ₁과 Δ_K가 크게 차이날 때) 더 빠른 수렴을 보인다.

실험에서는 두 가지 실제 사례—재머 파형 선택과 레이더 채널 탐지—를 통해 알고리즘의 실용성을 검증한다. 결과는 (1) Δ₂가 작고 나머지 갭이 큰 경우에 RE가 SR·SH보다 현저히 낮은 오류율을 보이며, (2) 모든 갭이 비슷하게 작을 때는 기존 알고리즘이 더 유리함을 보여준다. 또한, 알고리즘의 성능이 악화되는 상황(분리 가능성 조건 위반)도 명시적으로 제시해, 적용 전 사전 검증의 필요성을 강조한다.

이 논문의 한계는 현재 평균 보상만을 관측값으로 가정한다는 점이다. 최대·최소 보상, 혹은 비선형 결합과 같은 다른 집합 보상 함수에 대한 확장은 아직 미해결 문제이며, 이러한 확장은 그룹 테스트 설계와 LRT 통계량에 큰 변화를 요구한다. 또한, 그룹 크기가 K/2로 고정돼 있어 K가 매우 클 경우 각 그룹당 샘플 수가 감소, 통계적 검정력이 약해지는 현상이 발생한다. 향후 연구에서는 가변 그룹 크기, 적응형 그룹 설계, 그리고 베이지안 사전을 활용한 보다 강건한 검정 방법을 탐색할 여지가 있다.