전략적 동역학 통제와 발산 기반 균형 안정화

초록

본 논문은 혼합 동기 게임에서 발생하는 비정상적인 진화 흐름을 억제하기 위해 마커 유전자(Marker Gene) 방식을 제안한다. 마커를 교차 세대에 걸쳐 고정 기준으로 활용하고, 동적 가중치(DWAM)와 보수적 업데이트 규칙을 결합해 평가의 비정상성을 감소시킨다. 또한 NGD‑Div라는 자연경사 기반 적응 제어기를 도입해 임계값을 자동 조정한다. 이 프레임워크를 NES와 결합한 MGM‑E‑NES를 다양한 협조·자원 고갈 마르코프 게임에 적용했으며, 기존 방법에 비해 안정적인 학습과 높은 협조율을 달성하였다.

상세 분석

이 논문은 블랙박스(co‑evolution) 환경에서 가장 흔히 나타나는 세 가지 병리 현상—비전이성(intransitivity), 레드 퀸 효과, 그리고 탈동조(detachment)—을 체계적으로 분석한다. 비전이성은 전략 간 순환 구조가 존재해 평가가 주기적으로 왜곡되는 현상이며, 레드 퀸 효과는 양쪽 집단이 서로의 진화에 맞춰 지속적으로 변함으로써 실질적인 진보가 없게 되는 상황을 의미한다. 탈동조는 한쪽 집단이 다른 쪽을 압도해 상대의 적합도 신호가 평탄해지는 경우로, 선택 압력이 사라져 무작위 탐색으로 전락한다. 이러한 현상들은 모두 “평가 기준의 비정상성”에 기인한다는 점을 저자는 강조한다.

마커 유전자 방법(MGM)은 이러한 비정상성을 완화하기 위해 “고정된 기준 마커”를 도입한다. 매 세대마다 현재 개체군을 이 마커와 비교 평가함으로써, 상대 집단의 변동에도 불구하고 절대적인 적합도 척도를 유지한다. 마커 자체는 보수적인 업데이트 규칙에 따라 교체되는데, 이는 동적 가중치(DWAM) 기준을 만족할 때만 이루어진다. DWAM은 현재 마커와 전체 상대 집단 간의 성능 차이를 정량화하고, 차이가 충분히 커졌을 때만 마커를 갱신하도록 설계돼, 과도한 업데이트로 인한 불안정을 방지한다. 또한, 논문은 FIFO 형태의 마커 아카이브(크기 H)를 유지해 과거 마커들을 배치 평가에 활용함으로써 샘플링 노이즈를 감소시킨다.

핵심 하이퍼파라미터인 DWAM 임계값 λ은 게임마다 다른 스케일과 균형 구조를 가지고 있어 사전 튜닝이 어려운 점이 있다. 이를 해결하기 위해 제안된 NGD‑Div는 발산(divergence) 프록시를 이용해 λ를 자연경사(Natural Gradient) 방식으로 실시간 조정한다. 구체적으로, 현재 정책과 마커 간의 KL 발산을 측정하고, 이 값이 목표 발산 수준을 초과하면 λ를 감소, 미달이면 λ를 증가시키는 형태이다. 이 과정은 NES의 파라미터 업데이트와 동일한 복잡도로 수행돼 추가적인 계산 부담이 거의 없다.

이론적 분석에서는 엄격히 경쟁적인 대칭 게임(SCG) 모델을 사용한다. 제한된 보상, 유한 샘플 평가, 그리고 약한 의존성 가정을 바탕으로 두 단계의 시간 스케일을 도출한다. 첫 번째는 마커가 현재 균형 근처에 진입하는 빠른 시간 스케일이며, 두 번째는 작은 확률적 교란에 의해 균형을 벗어나는 느린 시간 스케일이다. 특히, 확률적 교란의 크기가 ε일 때, 균형을 탈출하는 기대 시간은 exp(1/ε) 형태로 지수적으로 증가함을 보인다. 이는 MGM이 균형을 한 번 도달하면 거의 영구적으로 유지될 수 있음을 의미한다.

실험에서는 Stag Hunt, Battle of the Sexes 같은 협조 게임과 3차원·100차원·1000차원 RPS 경쟁 게임, 그리고 자원 고갈 마르코프 게임을 대상으로 MGM‑E‑NES를 평가했다. 협조 게임에서는 두 플레이어 모두 0.99 이상의 협조 확률을 달성했으며, 특히 Battle of the Sexes에서는 거의 완벽한 (1,1) 균형을 재현했다. 경쟁 게임에서는 최종 KL 발산이 거의 0에 수렴하면서도 수렴 속도가 빠른 것을 확인했다. 자원 고갈 게임에서는 ‘Rich’, ‘Poor’, ‘Collapsed’ 상태별로 각각 0.954, 0.980, 0.916의 높은 협조율을 유지했으며, 표준편차가 매우 작아 안정성을 입증했다. 비교 대상인 OGDA, PSRO, PureNES, LOLA 등과 비교했을 때, MGM‑E‑NES는 수렴 정확도와 안정성 모두에서 우수한 성능을 보였다.

전체적으로 이 논문은 “거버넌스 레이어”라는 새로운 패러다임을 제시한다. 기존 진화 알고리즘이 직접적인 적합도 신호에 의존하는 반면, MGM은 외부적인 고정 기준을 도입해 평가의 비정상성을 억제한다. NGD‑Div는 이러한 거버넌스 레이어를 자동으로 조정함으로써 하이퍼파라미터 의존성을 크게 낮춘다. 결과적으로 블랙박스 환경에서도 안정적인 학습이 가능해지며, 다양한 게임 유형에 걸쳐 최소한의 튜닝만으로도 높은 성능을 달성한다는 점이 가장 큰 기여라 할 수 있다.