연속형 최후통첩 게임에서 합의 도달 학습

초록

본 논문은 연속적인 전략 공간을 갖는 최후통첩 게임에서, 규모가 큰 무작위 네트워크와 재연결 메커니즘을 활용해 에이전트들이 공통 전략에 합의하도록 학습하는 방법을 제시한다. 연속형 행동 학습 자동자를 사용하고, 고정 전략 에이전트를 포함한 실험을 통해 스케일프리 네트워크가 합의 형성에 유리함을 확인했으며, 네트워크 재연결이 그 효과를 크게 강화한다. 반면 평판·자원봉사와 같은 기존 메커니즘은 연속 전략 상황에서 뚜렷한 이점을 보이지 않았다.

상세 분석

이 연구는 전통적인 이산형 전략 게임에서 입증된 네트워크 기반 협력 메커니즘을 연속형 전략 공간으로 확장한다는 점에서 이론적·실험적 의의가 크다. 우선, 연속 행동 학습 자동자(Continuous‑Action Learning Automata, CALA)를 도입해 에이전트가 제안된 금액을 실수값으로 조정하도록 설계하였다. CALA는 보상 신호를 기반으로 확률 분포의 평균을 업데이트하는데, 이는 기존 이산형 Q‑러닝이나 진화적 전략 업데이트보다 부드러운 탐색‑활용 균형을 제공한다.

네트워크 구조는 두 가지 변형을 실험하였다. 첫 번째는 전형적인 스케일프리(network)이며, 노드의 차수가 거듭 제곱 법칙을 따르는 특성을 가진다. 두 번째는 동일한 초기 평균 차수를 유지하되, 에이전트가 불만족스러운 파트너와의 연결을 끊고 새로운 파트너를 찾는 ‘재연결(rewiring)’ 메커니즘을 적용한다. 재연결은 상대방이 제시한 제안이 자신의 기대치 이하일 경우 일정 확률로 연결을 해제하고, 무작위로 새로운 이웃을 선택하도록 설계되었다.

실험 설정은 크게 두 가지 시나리오로 나뉜다. (1) 순수 학습 에이전트만 존재하는 경우, (2) 고정 전략 에이전트(예: 인간이 선호하는 0.5 비율)를 일정 비율(10~30%) 삽입한 경우다. 각 시나리오에서 10,000 라운드 이상의 무작위 쌍대 게임을 수행하고, 평균 제안값, 수용률, 그리고 전략 분산을 추적하였다.

핵심 결과는 다음과 같다. 스케일프리 네트워크만 사용해도 에이전트들은 점진적으로 평균 제안값을 수렴시켜, 전체 집단이 거의 동일한 금액을 제시하게 된다. 이는 고도 연결된 허브 노드가 빠른 정보 전파와 전략 동조를 촉진하기 때문이다. 그러나 재연결을 허용하면 수렴 속도가 현저히 빨라지고, 최종 평균 제안값이 고정 전략 에이전트의 목표값(예: 0.5)과 더 가깝게 된다. 재연결은 비협조적 파트너와의 지속적인 상호작용을 차단함으로써, ‘불량’ 전략이 네트워크에 퍼지는 것을 방지한다.

반면, 평판 시스템(과거 수용 여부를 기록하고 파트너 선택에 활용)과 자원봉사(게임에 참여하지 않을 권리) 메커니즘은 연속형 전략에서는 기대했던 효과를 보이지 않았다. 평판 정보가 실수값의 미세 차이를 충분히 구분하지 못해, 파트너 선택에 큰 영향을 미치지 못했고, 자원봉사는 전체 게임 횟수를 감소시켜 학습 기회를 제한했다.

이러한 결과는 연속형 사회 딜레마에서 네트워크 구조와 동적 재연결이 핵심적인 역할을 한다는 점을 강조한다. 특히, 인간 사회에서 흔히 관찰되는 ‘친구·동료 교체’ 행동이 협력적 합의를 촉진한다는 가설을 정량적으로 뒷받침한다. 또한, CALA 기반 학습이 연속 전략 공간에서 안정적인 수렴을 보이며, 기존 이산형 강화학습보다 더 자연스러운 전략 조정을 가능하게 함을 보여준다.

한계점으로는 고정 전략 에이전트의 비율이 매우 높을 경우(>50%) 네트워크 전체가 과도하게 편향될 위험이 있으며, 재연결 비용(연결 해제·재설정)의 모델링이 단순화되어 현실적 상황을 완전히 반영하지 못한다는 점을 들 수 있다. 향후 연구에서는 재연결 비용을 명시적으로 비용 함수에 포함하고, 다중 차원 연속 전략(예: 금액·시간·품질)으로 확장하는 것이 필요하다.