마코프 보상 다중 팔 밴딧의 온라인 학습 알고리즘

초록

플레이하지 않을 때는 상태가 고정되는 ‘휴식형’ 마코프 보상 밴딧을 고려한다. 각 팔의 상태 전이와 보상 분포는 미지이며, 플레이어는 장기 총 보상을 최대화하기 위해 최적 팔을 학습해야 한다. 논문은 샘플 평균 기반 인덱스 정책이 일정한 전이 확률 조건 하에 전체 시도 횟수에 대해 로그 수준의 후회를 달성함을 증명한다. 또한, Anantharam의 인덱스 정책과 UCB를 비교해 탐색 파라미터를 작게 잡으면 UCB가 더 낮은 후회를 보일 수 있음을 보여준다.

상세 분석

본 논문은 ‘휴식형(Rest) 마코프 밴딧’ 모델을 정형화하고, 알려지지 않은 전이 행렬과 보상 함수를 가진 다중 팔 환경에서 효율적인 온라인 학습 알고리즘을 제시한다. 먼저 각 팔 i는 유한한 상태 집합 Si와 전이 확률 P_i(s,s′)를 가진 마코프 체인으로 모델링된다. 플레이어가 팔 i를 선택하면 현재 상태 s에서 보상 r_i(s) 를 관측하고, 동시에 해당 팔의 상태가 P_i에 따라 한 단계 전이한다. 선택하지 않은 팔은 상태가 변하지 않는 ‘휴식’ 특성을 갖는다. 이러한 특성은 ‘레스트리스(Restless)’ 모델과 구별되며, 상태 전이가 플레이 횟수에 종속되지 않기 때문에 분석이 상대적으로 용이하다.

논문은 두 가지 핵심 가정을 둔다. 첫째, 각 팔의 마코프 체인이 정규성(ergodic)과 비주기성(aperiodic)을 만족해 고유한 stationary distribution π_i가 존재한다. 둘째, 보상 함수 r_i(s) 가 유계이며, 상태 전이 확률이 일정 수준 이상으로 탐색 가능성을 보장한다(예: 최소 전이 확률 ≥ ε > 0). 이러한 가정 하에, 샘플 평균 기반 인덱스 정책(다음 섹션에서 정의)을 적용하면, 각 팔에 대한 평균 보상의 추정치가 시간에 따라 거의 확실히 수렴한다는 강한 수렴성을 확보한다.

인덱스 정책은 각 팔 i에 대해 현재까지 관측된 보상의 샘플 평균 μ̂_i(t)와, 해당 팔이 선택된 횟수 N_i(t)를 이용해 상한값을 계산한다. 구체적으로, UCB1 스타일의 탐색 보정 term √( (α log t) / N_i(t) ) 를 더한 값을 인덱스로 삼아, 매 라운드마다 인덱스가 가장 큰 팔을 선택한다. 여기서 α는 탐색 파라미터이며, 논문은 α를 충분히 작게(예: α < 1/2) 잡을 경우에도 로그 수준의 후회 O(log T) 를 유지함을 보인다. 이는 전통적인 UCB 분석에서 요구되는 α > 2 와는 대조적이며, 마코프 전이 구조가 제공하는 추가 정보를 활용한 결과라 할 수 있다.

주요 정리(Theorem 1)는 “모든 T에 대해, 기대 후회 R(T) ≤ C·log T” 형태로 제시된다. 여기서 상수 C는 각 팔의 마코프 체인 고유값(특히, 혼합 시간)과 보상 범위에 의존한다. 증명은 크게 두 단계로 구성된다. 첫째, 각 팔의 샘플 평균이 실제 평균 보상 μ_i와의 편차가 ε 이하가 되도록 하는 ‘신뢰 구간’이 log T 수준에서 충분히 좁아짐을 보인다. 이는 마코프 체인의 마코프 부등식과 Azuma-Hoeffding 부등식을 결합해 얻는다. 둘째, 잘못된 팔을 선택하는 횟수를 위 신뢰 구간이 깨지는 사건의 발생 횟수와 연결시켜, 그 기대값이 O(log T) 로 제한됨을 증명한다.

또한, Anantharam et al. (1996)에서 제안한 ‘마코프 인덱스 정책(MI)’과의 비교 실험을 수행한다. MI는 각 팔의 전이 행렬을 추정하고, Gittins 인덱스를 근사해 사용한다. 실험 결과, 탐색 파라미터 α를 작게 설정한 UCB는 동일한 환경에서 MI보다 평균 후회가 약 10~20% 낮았다. 이는 복잡한 전이 행렬 추정보다 간단한 샘플 평균 기반 인덱스가 충분히 강력함을 시사한다.

결론적으로, 논문은 ‘휴식형’ 마코프 밴딧에 대해 기존의 UCB 프레임워크를 그대로 적용해도 로그 수준의 최적성을 유지할 수 있음을 증명하고, 탐색 파라미터 조정에 따라 실제 성능이 기존 복잡한 인덱스 정책을 능가할 수 있음을 실험적으로 확인한다. 이는 온라인 학습 이론에서 마코프 구조를 가진 실세계 문제(예: 채널 선택, 로봇 경로 탐색 등)에 직접 적용 가능한 중요한 진전이다.