변화하는 세계에서 배우는 휴식형 다중팔 밴딧

초록

본 논문은 플레이어가 매 시점 M개의 팔을 선택하는 휴식형 다중팔 밴딧(RMAB) 문제에서, 각 팔의 보상 상태가 선택 시에는 미지의 마코프 전이, 선택되지 않을 때는 임의의 미지 확률 과정으로 변한다는 가정 하에, 로그 차수의 레지스트를 달성하는 탐험·활용 에포크 구조의 정책을 제안한다. 시스템 파라미터에 대한 제한적인 사전 지식이 있든 없든, 제안 정책은 로그 차수에 근접한 레지스트를 보장한다. 또한 정보를 교환하지 않는 다중 플레이어가 공유 팔을 사용할 때도, 외생·내생 두 종류의 레스트리스 모델에 대해 분산형 확장 정책이 동일한 로그 레지스트를 유지함을 증명한다.

상세 분석

이 연구는 전통적인 정적 밴딧 모델을 넘어, 팔이 선택될 때와 선택되지 않을 때 각각 다른 동적 규칙을 따르는 ‘휴식형’ 상황을 다룬다. 특히 각 팔의 전이 확률이 완전히 미지이며, 비활성 상태에서는 임의의 확률 과정(예: 외부 환경 변화)으로 모델링한다는 점이 핵심이다. 이러한 불확실성 하에서 레지스트를 최소화하려면, 탐험과 활용을 적절히 교차시키는 구조가 필요하다. 저자들은 ‘에포크’라는 시간 구간을 정의하고, 각 에포크를 탐험 단계와 활용 단계로 나누어 진행한다. 탐험 단계에서는 모든 팔을 일정 횟수씩 샘플링해 전이 행렬과 보상 평균을 추정하고, 활용 단계에서는 현재까지 얻은 추정값을 기반으로 ‘가장 유망한 M개의 팔’을 선택한다. 중요한 점은 탐험 에포크의 길이가 로그 스케일로 증가하도록 설계함으로써, 초기에는 충분히 많은 정보를 수집하고, 시간이 흐를수록 탐험 비용을 최소화한다는 것이다.

또한, 시스템 파라미터(예: 보상 범위, 전이 확률의 최소 비제로값 등)에 대한 ‘비트리비얼’한 상한·하한만 알면, 탐험 길이와 활용 정책을 명시적으로 계산할 수 있다. 파라미터에 대한 사전 지식이 전혀 없을 경우, 저자들은 파라미터를 자체 추정하는 메커니즘을 삽입해 탐험 길이를 동적으로 조정한다. 이 경우에도 레지스트는 로그 차수에 임의로 작은 상수를 곱한 형태로 수렴한다는 점을 증명한다.

분산형 확장에서는 각 플레이어가 독립적으로 동일한 정책을 실행한다. 외생 레스트리스 모델에서는 팔의 비활성 전이가 외부 환경에 의해 결정되므로, 플레이어 간 상호작용이 없으며 충돌(동일 팔을 동시에 선택)만이 성능 저하 요인이다. 이를 해결하기 위해 ‘충돌 회피 스케줄링’과 ‘우선순위 랜덤화’를 도입해, 각 플레이어가 서로 다른 순서로 팔을 탐험하도록 만든다. 내생 레스트리스 모델에서는 팔의 전이가 플레이어들의 선택에 의해 직접 영향을 받는다. 여기서는 각 플레이어가 자신의 선택 이력에 기반해 전이 추정을 업데이트하고, 공동의 충돌 회피 메커니즘을 유지한다. 두 경우 모두 로그 레지스트 상한을 유지함을 수학적으로 증명한다.

이 논문의 주요 기여는 (1) 완전 미지의 마코프·비마코프 전이를 동시에 다루는 RMAB 모델 정의, (2) 로그 차수 레지스트를 보장하는 탐험·활용 에포크 설계, (3) 파라미터 사전 지식이 없을 때도 근접 로그 레지스트를 얻는 적응형 방법, (4) 정보 교환이 없는 다중 플레이어 환경에서의 분산형 확장과 그 정당성 증명이다. 특히, 레지스트 분석에 사용된 마코프 체인 수렴성, 마틴게일 차등, 그리고 ‘우도 비율 검정’ 기반의 신뢰구간 설계는 기존 밴딧 이론에 새로운 도구를 제공한다. 실험 결과는 통신 네트워크 채널 할당, 동적 작업 스케줄링, 그리고 포트폴리오 최적화 등 다양한 응용 분야에서 제안 정책이 기존 탐험‑활용 알고리즘보다 현저히 낮은 누적 손실을 보임을 확인한다.