전략 단순화와 균형: 제한된 합리성 하의 새로운 균형 개념

초록

이 논문은 플레이어가 보상 최대화와 전략 복잡도 최소화를 동시에 추구한다는 가정 아래, 다른 플레이어의 반응을 유발하지 않는 범위에서 전략을 가능한 한 단순화하는 새로운 균형 개념을 제시한다. 두 명의 에이전트가 반복 게임을 위한 유한 자동자를 선택하는 ‘머신 게임’ 모델을 사용해, 균형 존재와 구조적 특성을 분석하고, 균형을 검증하는 기법을 개발한다.

상세 분석

본 연구는 제한된 합리성(bounded rationality)이라는 전제 하에 게임 이론의 예측력을 향상시키려는 기존 흐름을 계승하면서도, Rubinstein 등(2004)이 제안한 ‘전략 단순화 균형(SSNE)’과는 차별화된 접근을 시도한다. SSNE는 전략을 더 이상 단순화할 수 없도록 만드는 것이 목표였지만, 그 과정에서 다른 플레이어가 새로운 전략을 채택하도록 유인될 가능성을 고려하지 않았다. 저자들은 이를 보완하기 위해 ‘상호 의존적 단순화 절차’를 정의한다. 구체적으로, 한 플레이어가 자신의 자동자를 단순화하려 할 때, 그 단순화가 상대방에게 유리한 편향을 제공해 상대가 전략을 바꾸게 만들 경우 해당 단순화는 허용되지 않는다. 이렇게 하면 각 플레이어는 자신의 복잡도 비용을 최소화하면서도, 상대의 반응을 예측 가능한 범위 안에 머무르게 한다.

모델은 두 명의 플레이어가 각각 유한 상태 기계(automaton)를 선택해 반복 게임을 수행하는 ‘머신 게임’ 형태로 설정된다. 자동자는 상태와 전이 규칙, 그리고 각 상태에서 선택할 행동을 명시한다. 복잡도는 자동자의 상태 수와 전이 함수의 크기로 측정되며, 보상 함수와 복잡도 비용을 가중합한 효용을 극대화한다. 이때, 전략 단순화는 자동자의 상태를 병합하거나 전이 함수를 축소하는 형태로 구현된다. 중요한 점은, 상태 병합이 상대방의 관측 가능성을 바꾸어 상대가 새로운 최적 반응을 찾게 만들지 않는지를 검증해야 한다는 것이다.

논문은 이러한 정의를 바탕으로 ‘최대 단순화 균형(Maximally Simplified Equilibrium, MSE)’을 정형화한다. MSE는 (1) 각 플레이어의 자동자가 주어진 상대 자동자에 대해 효용을 최적화하고, (2) 더 이상 복잡도를 낮출 수 없으며, (3) 복잡도 감소가 상대의 최적 반응을 바꾸게 하지 않는다, 라는 세 조건을 동시에 만족한다. 저자들은 MSE 존재를 보장하기 위해 고전적인 고정점 정리와 자동자 최소화 알고리즘을 결합한 증명을 제시한다. 특히, ‘전략 교환 가능성(equivalence)’ 개념을 도입해, 두 자동자가 동일한 행동 궤적을 생성하면 서로 교환 가능하다고 정의하고, 최소 대표 자동자를 선택함으로써 복잡도 최소화를 달성한다.

핵심 기술적 기여는 (i) 자동자 단순화 과정에서 상대의 반응을 예측하는 ‘반응 안정성 검증(Reaction Stability Check)’ 절차, (ii) 자동자 간 동형성(isomorphism) 검사를 통한 최소화 알고리즘, (iii) MSE의 구조적 특성을 밝히는 정리들이다. 예를 들어, MSE 자동자는 반드시 ‘정상 형태(normal form)’를 띠며, 이는 모든 비필수 상태가 제거되고, 전이 함수가 결정론적이며, 각 상태에서의 행동이 ‘협력-배반’ 구분에 따라 고정된다는 것을 의미한다. 또한, MSE는 Folk Theorem의 결과와 일치하는데, 충분히 큰 복잡도 비용이 없을 경우 협력적인 무한 반복 균형이 MSE에 포함될 수 있음을 보인다.

이러한 결과는 제한된 계산 능력을 가진 실제 인간이나 인공지능 에이전트가 복잡한 전략을 채택하기보다는, 가능한 한 간단하면서도 상대의 전략 변화를 억제하는 형태의 전략을 선호한다는 행동적 예측과도 일맥상통한다. 따라서 MSE는 전통적인 내시 균형(Nash equilibrium)보다 더 현실적인 행동 모델을 제공하며, 자동자 기반 설계에서 설계자들이 복잡도와 안정성을 동시에 고려하도록 안내한다.