내부 후회 없는 이웃 감시 알고리즘

초록

본 논문은 부분 관찰 게임에서 “지역 관측 가능성(local observability)” 조건이 만족될 때, 적대적(비확률적) 상대에 대해서도 내부 및 외부 후회를 O(√T) 수준으로 제한하는 새로운 알고리즘 “Neighborhood Watch”을 제안한다. 이를 통해 유한 부분 관찰 게임의 가능한 후회율을 완전히 규명한다.

상세 분석

이 연구는 부분 관찰(partial monitoring) 게임에서 후회(regret)의 성장률을 정확히 구분하는 오래된 문제에 새로운 해답을 제시한다. 기존 연구(Bartók·Pal·Szepesvári, 2011)는 i.i.d. 상대에 대해 “지역 관측 가능성”이 √T‑율을 보장한다는 것을 보였지만, 비확률적(적대적) 상대에 대해서는 아직 증명이 부족했다. 논문은 이 격차를 메우기 위해 두 단계의 메타 알고리즘을 설계한다.

첫 번째 단계는 각 행동(행 플레이어의 순수 전략) i에 대해 그 이웃 집합 N_i(그래프 G에서 인접한 행동)만을 고려하는 로컬 서브알고리즘 A_i를 실행한다. 지역 관측 가능성은 모든 인접 행동 i, j에 대해 손실 차이 ℓ_j−ℓ_i가 신호 행렬 S(i,j)의 전치와 어떤 벡터 v(i,j)와의 곱으로 표현될 수 있음을 의미한다. 이를 이용해 A_i는 관찰된 신호 S_i·e_{j_t}를 통해 ℓ_j−ℓ_i의 무편향 추정값 b_t(i,j)=v(i,j)^T·