학습과 혁신이 결합된 전략 채택 규칙이 협력 네트워크 토폴로지를 확장한다

초록

본 연구는 Q‑learning 등 장기 학습 기반 전략 채택 규칙을 적용하여 반복되는 죄수의 딜레마와 매사냥 게임을 다양한 무작위·규칙·소규모·스케일‑프리·모듈형 네트워크 위에서 시뮬레이션한다. 학습 규칙은 네트워크 토폴로지에 관계없이 협력을 유지시키며, 여기에 낮은 수준의 무작위성(혁신)을 추가하면 협력 수준이 토폴로지 의존성을 크게 감소시킨다. 장기 학습과 혁신이 동시에 작용할 때, 비용·유인 파라미터가 넓은 범위에 걸쳐 협력이 지속될 수 있는 네트워크 종류가 크게 확대된다.

상세 분석

이 논문은 복잡계 진화에서 협력의 유지 메커니즘을 탐구하기 위해, 전통적인 ‘즉시 모방’ 전략 채택 규칙 대신 강화학습 기반 Q‑learning을 도입하였다. Q‑learning은 각 에이전트가 과거 행동에 대한 기대 보상을 누적하고, 이를 바탕으로 행동 선택 확률을 업데이트하는 장기 기억 메커니즘을 제공한다. 저자는 이 규칙을 죄수의 딜레마(PD)와 매사냥(Hawk‑Dove) 게임에 적용하고, 네트워크 토폴로지를 무작위 그래프, 정규 격자, 작은 세계, 스케일‑프리, 그리고 모듈형 구조 등 다섯 종류로 다양화하였다. 각 네트워크는 평균 차수와 클러스터링 계수를 일정하게 맞춘 뒤, 10,000 라운드 이상의 반복 게임을 수행해 평균 협력 비율을 측정하였다.

주요 실험 결과는 다음과 같다. 첫째, Q‑learning을 사용하면 네트워크 종류에 관계없이 협력 비율이 높은 안정적인 수준을 유지한다. 이는 전통적인 ‘베스트‑리플리케이션’이나 ‘무작위 복제’ 규칙이 토폴로지에 민감하게 반응하는 것과 대조된다. 둘째, 장기 학습 규칙에 작은 확률(p≈0.01~0.05)의 무작위 전략 전이를 도입하면, 즉 ‘혁신’ 요소를 추가하면 협력 비율이 토폴로지 의존성을 더욱 감소시킨다. 무작위 전이는 일시적인 비이성적 행동을 허용함으로써, 특정 구조(예: 고집적 클러스터)에서 발생할 수 있는 협력 고착을 방지하고, 전체 네트워크에 협력 전략이 확산될 여지를 만든다.

또한, 저자는 비용(c)와 유인(t) 파라미터 공간을 광범위하게 탐색하였다. Q‑learning + 혁신 조합은 t/c 비율이 1.5 이상으로 높은 유인 상황에서도 협력이 유지되는 영역을 크게 확대했으며, 이는 기존 연구에서 협력이 급격히 붕괴되던 영역과 일치한다. 학습 속도(α)와 할인율(γ)의 민감도 분석에서도, α≈0.1~0.3, γ≈0.9 범위가 가장 견고한 협력 유지에 기여함을 확인했다.

이러한 결과는 복잡계에서 ‘학습’과 ‘혁신’이 상호 보완적으로 작용한다는 가설을 실증적으로 뒷받침한다. 장기 기억을 통한 전략 최적화는 네트워크 구조에 얽매이지 않는 보편적 협력 메커니즘을 제공하고, 소규모 무작위 변동은 구조적 경직성을 완화한다. 따라서 실제 사회·경제·생태 네트워크가 재구성(예: 조직 개편, 인프라 변화)될 때도 협력 유지가 가능하도록 하는 이론적 토대를 제공한다.