학습 기반 게임 이론: 플레이어 내부 구조와 동적 전략의 통합 프레임워크

초록

본 논문은 전통적인 게임 이론이 전략을 단일 스칼라값으로만 모델링하는 한계를 지적하고, 강화학습에서 영감을 얻은 ‘플레이어’를 내부 구조와 학습 알고리즘으로 정의한다. 플레이어 자체를 게임의 기본 단위로 삼아, 관찰·추정·행동의 순환 과정을 공식화하고, 이를 통해 불확실한 균형(uncertain equilibrium)과 동적 프로그래밍을 적용한다. 이산 및 평균장(mean‑field) 설정에서 구체적인 예시와 알고리즘을 제시하며, 기존의 내쉬·상관 균형과의 관계를 탐색한다.

상세 분석

논문은 먼저 기존 게임 이론이 전략을 정적이고 외생적인 스칼라값으로 취급함으로써, 실제 강화학습 기반 에이전트가 보이는 복잡한 내부 메커니즘을 무시한다는 근본적인 문제점을 제시한다. 이를 해결하기 위해 ‘플레이어’를 관찰(O), 학습 알고리즘(Lφ), 행동(Υ)이라는 세 요소의 삼중항으로 정의한다. 관찰은 환경(Ωu)과 행동의 연속적인 상호작용을 통해 생성되는 시계열 데이터이며, 학습 알고리즘은 과거 관찰과 추정값을 입력으로 받아 새로운 추정 φ를 업데이트한다. 행동은 현재 추정과 과거 행동을 바탕으로 행동 함수를 생성하고, 이는 다시 환경에 영향을 미쳐 다음 관찰을 만든다. 이러한 순환 구조는 전통적인 게임 이론에서 가정하는 ‘전략 고정’과는 달리, 플레이어가 시간에 따라 스스로 전략을 재구성한다는 점에서 혁신적이다.

논문은 플레이어의 관찰 일관성(consistency)과 행동의 재발성(recurrence)을 수학적으로 정의한다. 관찰 일관성은 시간 n에서의 관찰 시퀀스가 n+1에서의 관찰 시퀀스의 부분집합임을 요구하며, 이는 플레이어가 과거 정보를 손실 없이 보존한다는 의미다. 행동 재발성은 특정 행동 Υ*가 무한히 자주 나타나는지를 확률적으로 측정하는 (r,δ)-조건으로 정의되며, r=δ=0이면 ‘거의 확실히 재발’한다는 강한 형태가 된다.

추정 부분에서는 객체(Eobj), 연결(Econ), 관계(Erel)와 같은 구조화된 표현을 도입한다. 각각은 관찰을 고차원 상태로 매핑하고, 객체 간 연결망을 형성하며, 관계를 정량화한다. 이러한 계층적 추정은 실제 인지 시스템이 저차원 임베딩을 통해 복잡한 환경을 이해하는 방식과 일치한다. 논문은 또한 한 단계 예측(Mpre)을 정의하여, 현재 관찰·추정·행동을 기반으로 다음 시점의 객체·연결·관계를 확률분포로 모델링한다. ε‑예측 가능성은 이 분포와 실제 관찰 간의 거리(d)가 시간에 따라 ε 이하로 수렴함을 의미한다.

이산 게임 섹션에서는 전통적인 추정 φ를 그대로 사용하면서, ‘불확실한 균형(uncertain equilibrium)’을 도입한다. 이는 플레이어가 최적성(optimality)과 재발성(recurrence)을 동시에 만족하는 행동을 선택하도록 하는 조건이며, 기존 내쉬 균형이 요구하는 상호 최적화와는 달리, 플레이어 내부의 학습 동역학을 포함한다. 또한, 상관 균형(correlated equilibrium)과의 연결 고리를 제시해, 불확실한 균형이 상관 균형의 확장 형태임을 보인다.

평균장(mean‑field) 모델에서는 무한히 많은 동질 플레이어가 존재한다고 가정하고, 대표 플레이어가 전체 인구의 전략 분포를 추정한다. 대칭성을 활용해 명시적인 불확실한 균형을 구성하고, 이를 학습하기 위한 알고리즘을 제시한다. 여기서 동적 프로그래밍이 모든 추정 단계에 적용 가능함을 강조한다.

마지막으로 강화학습과의 연계성을 논의한다. 가치 함수가 확률 변수로 취급되는 최신 연구와 연결해, 가치 자체가 불확실성의 원천임을 강조한다. 또한, 전통적인 가치 기반 방법을 사용하지 않는 학습 알고리즘을 제안하며, 이는 다중 에이전트 강화학습에서 균형 개념을 남용하는 현재의 패러다임을 비판한다. 전체적으로 논문은 ‘플레이어 중심’ 접근이 게임 이론과 강화학습을 통합하는 새로운 언어를 제공한다는 점에서 학술적·실용적 의의를 갖는다.