비베이즈식 레스트리스 밴딧의 근로그리즘 회귀와 최적 정책 학습

초록

본 논문은 파라미터가 사전 알려지지 않은 레스트리스 다중 팔 밴딧(RMAB) 문제에 대해, 최적 정책이 미리 정의된 유한 개의 정책 중 하나로 결정되는 경우 메타‑정책을 이용해 각 정책을 하나의 팔로 취급하고, 전통적인 비베이즈식 밴딧 알고리즘으로 최적 정책을 학습한다. 이를 무선 스펙트럼 접근에 적용해, 모델을 모르는 상황에서도 로그에 가까운(regret) 성장률을 보이며, 알려진 모델의 최적 평균 보상과 동일한 성과를 달성함을 증명한다.

상세 분석

이 논문은 RMAB 문제를 두 가지 차원에서 재조명한다. 첫 번째 차원은 전통적인 베이즈식 설정으로, 각 팔의 상태 전이 확률과 보상 분포가 사전에 알려져 있어 최적 정책을 직접 계산하거나 근사화할 수 있다. 그러나 RMAB 자체가 PSPACE‑hard라는 이론적 난이도를 가지고 있기 때문에, 파라미터가 알려진 경우에도 실용적인 해법을 찾기가 쉽지 않다. 두 번째 차원은 파라미터가 전혀 알려지지 않은 비베이즈식 상황이다. 여기서는 환경을 탐색하면서 동시에 보상을 최대화해야 하는 ‘탐험‑활용 트레이드오프’가 더욱 복잡해진다.

핵심 아이디어는 “정책 집합이 유한하고, 베이즈식 최적 정책이 이 집합 중 하나로 결정된다”는 가정이다. 즉, 파라미터값에 따라 최적 정책이 바뀔 수 있지만, 가능한 최적 정책의 종류는 사전에 정의된 K개의 정책으로 한정된다. 이 경우 각 정책을 하나의 ‘가상의 팔’로 간주하고, 메타‑밴딧 프레임워크를 적용한다. 메타‑정책은 전통적인 비베이즈식 MAB 알고리즘(예: UCB1, KL‑UCB 등)을 사용해 어느 정책이 현재 가장 높은 기대 보상을 제공하는지 추정한다.

이 접근법의 장점은 두 단계로 문제를 분해한다는 점이다. 첫 번째 단계는 각 정책 내부에서 ‘팔 선택’이라는 하위 문제를 해결한다. 여기서는 기존의 ‘single‑arm selection’ 정책이 최적임을 보이며, 이는 각 팔이 독립적인 마코프 체인으로 동작한다는 가정 하에 성립한다. 두 번째 단계는 메타‑정책이 정책 간 경쟁을 관리한다. 메타‑정책은 각 정책의 누적 보상과 선택 횟수를 기록하고, 상한 신뢰구간을 계산해 탐험을 최소화한다.

수학적으로는 ‘regret’를
\