제어되지 않은 레스트리스 밴딧의 최적 적응 학습과 로그 수준 강후회

초록

이 논문은 전이 확률을 모르는 K개의 독립적인 레스트리스 밴딧을 대상으로, 최적 동적 정책에 대한 강후회(strong regret)를 로그 수준으로 유지하는 학습 알고리즘을 제시한다. 알고리즘은 탐색‑활용 균형을 위한 신뢰구간과 정보 상태의 유한 파티셔닝을 이용해, 시스템 파라미터에 대한 상한만 알면 시간에 대해 O(log T)의 강후회를 보장한다. 또한 상한이 없을 경우 근로그 수준의 후회를 달성한다는 변형도 제시한다.

상세 분석

본 연구는 “제어되지 않은(Restless) 레스트리스 밴딧”이라는 특수한 POMDP 모델을 다룬다. 각 팔은 자체적인 유한 상태 마코프 체인을 가지고 있으며, 플레이어가 선택한 팔의 상태만 관측된다. 전이 확률이 플레이어의 행동에 독립적이므로 최적 정책은 전통적인 MDP와 달리 완전 관측이 불가능한 부분관측 마코프 결정 과정(POMDP)으로 귀결된다. 논문은 강후회(strong regret)를 기준으로 성능을 평가한다. 강후회는 “전체 시스템 통계가 알려졌을 때의 최적 동적 정책”과 학습 알고리즘이 얻은 누적 보상의 차이이며, 이는 일반적인 정적 최적 팔(weak regret)보다 훨씬 엄격한 기준이다.

알고리즘 설계는 크게 두 단계로 구성된다. 첫 번째는 각 팔에 대한 전이 행렬을 추정하기 위한 탐색 단계이며, 여기서는 각 상태 전이 횟수를 카운트하고 Hoeffding‑type 신뢰구간을 이용해 추정 오차를 제한한다. 두 번째는 현재 추정값을 기반으로 “가상 최적 정책”을 계산하는 단계이다. 이때 정보 상태(information state)를 유한 개의 파티션으로 묶어, 동일 파티션 내에서는 동일한 정책을 적용한다. 파티션 설계는 각 팔의 최소 stationary 확률 π_min과 보상 상한 r_max 등을 이용해, 파티션 크기가 충분히 작을 경우 정책 차이가 ε 이하가 되도록 보장한다.

강후회 분석은 다음과 같은 핵심 아이디어에 기반한다. (1) 탐색 단계에서 발생하는 누적 손실은 각 팔에 대해 O(log T)로 제한된다. 이는 전이 확률 추정에 필요한 샘플 수가 로그 규모로 수렴함을 Hoeffding 부등식으로 증명한다. (2) 파티션에 의해 발생하는 근사 오차는 상수 C·ε 로 제한되며, ε을 충분히 작게 잡으면 전체 후회에 미치는 영향은 무시할 수 있다. (3) 탐색과 활용을 교대로 수행하는 “epoch” 구조를 도입해, 각 epoch마다 신뢰구간이 절반으로 줄어들도록 설계함으로써 전체 시간에 걸친 후회가 O(log T)임을 보인다.

특히 논문은 두 가지 경우를 구분한다. 첫 번째는 시스템 파라미터에 대한 상한(예: π_min·r_max·S_max 등)을 사전에 알고 있는 경우로, 이때 알고리즘은 정확히 로그 수준의 강후회를 달성한다. 두 번째는 이러한 상한을 모르는 경우이며, 여기서는 상한을 추정하면서 탐색 빈도를 조정해 “근로그” 수준(O(log T·log log T) 정도)의 후회를 얻는다.

관련 연구와의 차별점은 다음과 같다. 기존의 레스트리스 밴딧 연구는 대부분 정적 최적 팔에 대한 weak regret를 다루었으며, 로그 하한을 보이더라도 상수는 인스턴스‑독립적이었다. 본 논문은 강후회를 목표로 함으로써, 최적 동적 정책과 직접 비교한다는 점에서 훨씬 강력한 결과를 제공한다. 또한 MDP에 대한 기존 로그‑레그레트 결과를 POMDP(무한 정보 상태)로 확장했으며, 이는 “정보 상태 파티셔닝”이라는 새로운 분석 기법을 도입한 최초 사례라 할 수 있다. 마지막으로, 실험 섹션에서는 제안 알고리즘이 기존 UCB‑type 알고리즘과 비교해 동일한 시간 복잡도 하에 현저히 낮은 누적 후회를 보이며, 특히 긴 시간 horizon에서 로그 성장 특성을 명확히 확인한다.

이러한 기여는 무선 채널 선택, 목표 추적 등 실제 시스템에서 전이 모델을 사전에 알 수 없을 때, 강력한 성능 보장을 제공하는 실용적인 학습 프레임워크를 제시한다는 점에서 의의가 크다.