반복 게임에서 벡터 보상의 달성 가능성

초록

본 논문은 두 명의 플레이어가 반복적으로 진행하는 벡터 보상 게임에서, 플레이어 1이 일정 시점 이후 누적 보수를 원하는 집합에 임의로 가깝게 만들 수 있는 ‘달성 가능(attainable)’ 개념을 정의한다. 특히 단일 벡터가 목표일 때인 ‘달성 가능한 벡터(attainable vector)’에 초점을 맞추어, 그 존재 조건과 전체 벡터가 달성 가능한 경우를 정리한다. 결과는 기존의 접근 가능성(approachability) 이론과 차별화된 새로운 정량적 기준을 제공한다.

상세 분석

논문은 먼저 반복 게임의 기본 구조를 설정하고, 각 라운드에서 플레이어 1과 2가 선택하는 행동에 따라 다차원 보상 벡터 (g(a^1,a^2)\in\mathbb{R}^d)가 발생한다는 점을 명시한다. 기존 문헌에서 다루던 ‘접근 가능성’은 평균 보상이 목표 집합에 수렴하도록 하는 것이었지만, 여기서는 누적 보상이 목표 집합에 수렴하도록 요구한다는 점에서 근본적인 차이를 만든다. 이를 위해 ‘달성 가능 집합’이라는 정의를 도입하고, 특히 목표가 하나의 벡터 (v)일 때 ‘달성 가능한 벡터’라는 용어를 사용한다.

핵심 정리는 두 가지 형태로 제시된다. 첫 번째는 특정 벡터 (v)가 달성 가능하기 위한 필요충분조건이다. 저자는 모든 ε>0에 대해 일정한 정수 (T)와 플레이어 1의 전략 σ가 존재하여, 어떤 플레이어 2의 전략을 사용하더라도 누적 보수 (\sum_{t=1}^{T} g_t)가 (Tv)와 거리 ≤ ε 이하가 되도록 보인다. 이를 수학적으로는 ‘양의 스칼라 배수와 오프셋을 허용한 볼록 조합’ 형태로 표현한다. 즉, (v)가 게임의 단계 보상 집합 (G={g(a^1,a^2)})의 정규 원뿔(cone) 안에 포함되는가가 핵심 판단 기준이 된다.

두 번째 정리는 ‘모든 벡터가 달성 가능한 경우’를 규정한다. 저자는 게임이 ‘전방향 전이 가능(forward reachable)’이라는 성질을 가질 때, 즉 (G)가 (\mathbb{R}^d) 전체를 스팬하고, 각 방향에 대해 충분히 큰 양의 스칼라를 곱한 보상이 존재하면, 임의의 목표 벡터에 대해 위와 동일한 전략을 설계할 수 있음을 증명한다. 이때 사용되는 도구는 선형 프로그래밍의 듀얼성 및 미니맥스 정리이며, 특히 ‘가장 큰 하위공간에 대한 보상의 최소값이 양수’인 경우에 한정한다.

기술적 기여는 다음과 같다. (1) 누적 보상에 대한 수렴 개념을 명확히 정의하고, 기존 접근 가능성 이론과의 차이를 정량화하였다. (2) 달성 가능 벡터의 존재조건을 ‘볼록 원뿔 포함 관계’라는 직관적인 기하학적 형태로 제시함으로써, 실무에서 전략 설계가 용이하도록 했다. (3) 모든 벡터가 달성 가능한 경우를 완전하게 특성화함으로써, 게임이 ‘전역 제어 가능’한지 여부를 판단하는 새로운 기준을 제공한다. 이러한 결과는 네트워크 라우팅, 다목표 자원 배분, 그리고 다중 기준 의사결정 문제 등에 직접 적용될 수 있다.