마르코프 보상 결합 다중 팔 밴딧의 최적 매칭 학습

초록

본 논문은 M명의 사용자와 N≥M개의 자원을 이분 그래프로 연결한 환경에서, 각 사용자‑자원 쌍이 알 수 없는 마르코프 체인으로 보상을 생성한다는 가정 하에, 정적 최적 매칭에 근접하는 학습 알고리즘을 제시한다. 제안 알고리즘은 다항 저장·연산 복잡도를 유지하면서, 시간에 대해 로그에 가까운, 사용자·자원 수에 대한 다항식 형태의 regret 상한을 달성한다.

상세 분석

이 연구는 전통적인 다중 팔 밴딧(MAB) 문제를 두 차원으로 확장한다. 첫 번째 차원은 ‘조합적’ 구조로, 한 번에 M개의 팔을 동시에 선택해 M개의 사용자에게 서로 다른 자원을 할당한다는 매칭 제약이 존재한다. 두 번째 차원은 ‘마르코프 보상’으로, 각 (i, j) 쌍마다 유한 상태 공간을 갖는 비주기적·비가역적인 마르코프 체인이 존재하고, 해당 체인의 현재 상태에 따라 즉시 보상이 결정된다. 중요한 점은 체인의 전이 확률과 보상 함수가 모두 미지수이며, 사용자가 자원 j에 할당될 때마다 해당 체인이 한 스텝 전이한다는 점이다. 따라서 관찰 가능한 데이터는 (i, j) 쌍이 선택된 시점의 보상뿐 아니라, 그 선택이 체인의 상태 전이를 촉발한다는 사실이다.

논문은 먼저 최적 정적 매칭을 정의한다. 이는 모든 가능한 완전 매칭 중, 장기 평균 보상이 최대가 되는 매칭이며, 이는 각 (i, j) 쌍의 stationary 평균 보상 μ_{ij}=π_{ij}·r_{ij} (π_{ij}는 체인의 stationary 분포, r_{ij}는 상태별 보상) 를 이용해 이분 그래프의 최대 가중 매칭 문제로 환원된다. 그러나 μ_{ij}는 알 수 없으므로, 알고리즘은 온라인으로 이를 추정하면서 동시에 매칭을 결정해야 한다. 이는 ‘탐색‑활용’ 트레이드오프가 복합적으로 작용하는 전형적인 밴딧 상황을, 매칭 구조와 마르코프 의존성을 동시에 고려해야 하는 난제로 만든다.

제안된 알고리즘은 크게 두 단계로 구성된다. ① 각 (i, j) 쌍에 대해 ‘UCB‑type’ 상한값을 계산한다. 여기서 상한값은 현재까지 관측된 보상의 평균과, 해당 쌍이 선택된 횟수 n_{ij}(t) 에 대한 탐색 보정항을 합산한 형태이며, 탐색 보정항은 마르코프 체인의 mixing time τ_{ij}와 상태 공간 크 |S_{ij}| 를 포함한다. 이는 마르코프 체인이 충분히 섞일 때까지 보상의 편향을 보정하기 위한 설계이다. ② 계산된 상한값을 가중치로 사용해, 매 순간 최대 가중 이분 매칭을 폴리노미얼 시간 알고리즘(예: Hungarian 알고리즘)으로 해결한다. 이렇게 얻어진 매칭은 ‘낙관적’ 추정에 기반하므로, 아직 충분히 탐색되지 않은 (i, j) 쌍을 자연스럽게 우선 선택한다.

저장 복잡도는 각 (i, j) 에 대해 현재 평균 보상, 선택 횟수, 그리고 최근 관측된 상태 정보를 저장하면 되므로 O(MN) 수준이다. 매 단계마다 수행되는 매칭 최적화는 O((M+N)^3) 정도의 다항 시간이며, 이는 실제 네트워크 규모에서도 실용적이다.

주요 이론적 기여는 regret 분석이다. 논문은 다음과 같은 상한을 증명한다. 전체 regret R(T) ≤ C·(M·N)·log T + o(log T), 여기서 C는 각 마르코프 체인의 mixing time, 보상 범위, 그리고 상태 공간 크에 대한 다항식 상수이다. 즉, 시간 T 가 커짐에 따라 로그 수준으로 성장하고, 사용자·자원 수에 대해서는 다항식으로만 의존한다. 이는 기존의 ‘독립적 마르코프 밴딧’ 혹은 ‘정적 조합 밴딧’ 결과들을 동시에 일반화한 것으로, 특히 마르코프 체인의 의존성을 고려했음에도 불구하고 로그 regret을 유지한다는 점이 혁신적이다.

또한, 논문은 몇 가지 특수 경우를 통해 기존 연구와의 관계를 명확히 한다. (1) 마르코프 체인의 전이가 즉시 독립적인 i.i.d. 보상으로 수렴하면, 제안 알고리즘은 기존 UCB‑MAB와 동일한 성능을 보인다. (2) 매칭 제약이 없고 하나의 팔만 선택하면, 알고리즘은 표준 마르코프 밴딧 알고리즘과 동등한 regret를 달성한다. 따라서 제안 방법은 두 기존 라인을 하나의 프레임워크로 통합한다.

실험 부분에서는 시뮬레이션을 통해 (i) 탐색 보정항이 없는 naïve UCB 기반 매칭이 높은 regret을 보이는 현상, (ii) 제안 알고리즘이 다양한 마르코프 파라미터(전이 확률, 상태 수)와 네트워크 규모에서 로그 수준의 regret을 유지함을 검증한다. 또한, 실제 무선 네트워크 스케줄링 시나리오에 적용해 전송률 향상 효과를 확인한다.

전체적으로 이 논문은 ‘조합적 구조 + 마르코프 의존성’이라는 두 가지 복합적인 어려움을 동시에 해결한 최초의 다항 시간 알고리즘을 제공한다는 점에서 학문적·실용적 의의가 크다. 향후 연구는 (a) 비정적(시간에 따라 변하는) 마르코프 파라미터, (b) 부분 관측(상태를 직접 관측하지 못하고 보상만 보는) 상황, (c) 분산 구현(각 사용자/자원이 독립적으로 학습) 등을 확장하는 방향으로 진행될 수 있다.