스케일프리 메모리를 이용한 다중에이전트 강화학습: 평균장 근사와 가위바위보 역학

초록

본 논문은 보상 기반 강화학습에서 과거 보상의 영향력을 파워‑러프 커널로 모델링한 연속시간 스케일프리 메모리 방식을 제안한다. 에이전트는 독립적으로 행동을 선택하지만, 보상은 다른 에이전트의 선택에 의존한다. 이를 평균장 근사와 쌍대 상호작용 모델로 수식화하고, 두·세 에이전트가 가위‑바위‑보 형태의 비전이성 관계를 가질 때의 안정성 및 동역학을 분석한다. 결과적으로 메모리의 스케일프리 특성이 서브크리티컬·슈퍼크리티컬 bifurcation을 동시에 일으키며, 후자는 진폭·주기가 시간에 따라 성장하는 비정상적 진동을 만든다. 세 에이전트 시스템에서는 불규칙한 교대 진동이 관찰된다.

상세 분석

이 연구는 강화학습 에이전트가 과거 경험을 어떻게 축적하고 활용하는지를 수학적으로 정밀화한다. 전통적인 Q‑learning이나 SARSA와 달리, 저자들은 보상의 시간적 가중치를 파워‑러프(1 / t^γ) 형태의 커널로 정의함으로써 “스케일프리 메모리”를 구현한다. 이 커널은 오래된 보상이 급격히 사라지지 않고 장기적으로 영향을 미치게 하여, 시스템 전체에 비마르코프적 특성을 부여한다. 연속시간 한계에서 이 적분 연산자는 Caputo 형태의 분수 미분 연산자로 변환되며, 결과적인 동역학 방정식은 0 < γ < 1 구간의 분수 차수를 갖는다.

에이전트 간 상호작용은 보상이 서로의 행동 선택에 의존한다는 가정 하에 쌍대 보상 함수 R_i(a_i, a_j) 로 모델링된다. 평균장 근사를 적용하면, 각 에이전트의 행동 확률 p_i(t)는 전체 집단의 평균 행동 분포에 의해 결정되는 비선형 연동 방정식으로 축소된다. 특히, 가위‑바위‑보(RPS)와 같은 비전이성 게임에서는 보상 행렬이 순환적이며, 이는 고전적인 로터스(limit cycle) 대신 복합적인 진동·발산 현상을 야기한다.

선형 안정성 분석을 통해 두 에이전트 시스템에서는 두 종류의 고유 모드가 존재함을 확인한다. 첫 번째 모드는 전통적인 서브크리티컬 bifurcation으로, 작은 파라미터 변화에 의해 안정점이 급격히 불안정해진다. 두 번째 모드는 분수 차수 γ에 의해 조절되는 슈퍼크리티컬 bifurcation으로, 초기 진폭이 0에서 시작해 시간에 따라 점진적으로 확대된다. 이때 진동의 주기와 진폭이 동시에 성장하는 “anomalous oscillation”이 나타나며, 이는 메모리의 장기 의존성이 시스템에 내재된 자기조직화(altruism self‑organization) 메커니즘을 촉진한다는 해석을 가능하게 한다.

세 에이전트 RPS 시스템에서는 두 에이전트 경우보다 더 높은 차원의 고유값 스펙트럼이 등장한다. 수치 시뮬레이션은 일정 구간에서는 거의 주기적인 패턴을 보이다가, 다른 구간에서는 급격히 파형이 변형되는 교대 진동(fragmented oscillation) 현상을 보여준다. 이는 분수 차수와 상호작용 강도 사이의 비선형 결합이 다중 스케일의 동적 전이를 야기함을 의미한다. 또한, 메모리 지수 γ가 0.5에 가까워질수록 시스템은 더 큰 불규칙성을 보이며, 이는 메모리의 “무한히 긴” 특성이 복잡계에서 흔히 관찰되는 혼돈‑유사 행동을 유발한다는 점을 시사한다.

결론적으로, 스케일프리 메모리 모델은 강화학습 에이전트 집단에 새로운 시간적 비선형성을 도입함으로써, 전통적인 마코프ian 프레임워크로는 설명할 수 없는 복합적인 동역학—특히 비전이성 게임에서의 다중 bifurcation, 비정상적 진동, 그리고 자기조직화 현상—을 자연스럽게 설명한다. 이는 인공지능·다중에이전트 시스템 설계 시 장기 기억 메커니즘을 어떻게 활용할지에 대한 이론적 토대를 제공한다.