희소 그래프 평균장 제어와 지역 한계 및 GNN 활용

초록

**
본 논문은 대규모 희소 그래프 상에서 평균장 제어(MFC)를 정의하고, 시스템 상태를 ‘장식된 뿌리 이웃 분포’라는 확률 측도로 승격한다. 유한 시간 horizon에 대해 최적 정책이 현재 시점 t에서 (T‑t)‑hop 이웃만을 필요로 한다는 ‘시간‑의존 지역성’ 정리를 증명하고, 이를 기반으로 lifted 공간에서 동적 계획 원리(DPP)를 구축한다. 또한, 이러한 구조적 특성을 이용해 그래프 신경망(GNN)을 이용한 actor‑critic 알고리즘을 이론적으로 정당화하고, 실험을 통해 기존 방법보다 효율적인 제어를 확인한다. 고전적인 완전 그래프 평균장 제어는 반경 0의 특수 경우로 복원된다.

**

상세 분석

**
논문은 먼저 전통적인 평균장 제어가 전제하는 완전 그래프(모든 에이전트가 전부와 상호작용) 가정이 현실의 로컬 네트워크에서는 성립하지 않음을 지적한다. 이를 극복하기 위해 저자들은 시스템 상태를 단순히 에이전트 상태 분포 µ∈P(X) 로 보는 대신, ‘장식된 뿌리 그래프(Decorated Rooted Graph)’ 라는 객체의 분포 µ∈P(G_X^) 로 승격한다. 여기서 G_X^ 은 그래프 구조와 각 노드에 부여된 상태(‘장식’)를 동시에 포함한다. 이 정의는 Benjamini–Schramm 의 로컬 약한 수렴(local weak convergence) 개념을 활용해, N→∞ 일 때 큰 희소 그래프가 트리와 유사한 로컬 구조를 갖는다는 사실을 정량화한다.

핵심 정리인 ‘시간‑의존 지역성(Theorem 2)’은 유한 horizon T 문제에서 시점 t 의 최적 정책 π*_t 가 (T‑t)‑hop 이웃만을 관찰하면 충분하다는 것을 보인다. 증명은 (i) 로컬 전이 커널과 보상이 유한 반경에만 의존한다는 가정, (ii) lifted 상태 µ_t 가 Markovian 하며 deterministic하게 진화한다는 점, (iii) 동적 계획 원리(DPP)를 적용해 가치 함수가 점진적으로 작은 반경의 lifted 공간에 제한된다는 세 가지 요소를 결합한다. 결과적으로 원래의 무한 차원 제어 문제는 각 시점마다 유한 차원(반경이 감소하는) 문제로 분해될 수 있다.

이론적 기반 위에 저자들은 그래프 신경망(GNN)을 정책 및 가치 함수 근사에 적용한다. GNN 은 자연스럽게 (T‑t)‑hop 이웃 정보를 집계하므로, 정리된 지역성 결과와 완벽히 일치한다. 논문은 actor‑critic 구조를 채택한 GNN‑기반 알고리즘을 제안하고, 정책 그라디언트와 전파 혼돈(propagation of chaos) 결과를 이용해 근사 최적성 보장을 제공한다. 실험 섹션에서는 Erdős–Rényi 희소 그래프와 실제 네트워크 토폴로지를 사용해, 제안된 GNN‑actor‑critic이 기존 MF‑Q‑learning 혹은 전역 평균장 기반 방법보다 빠른 수렴과 높은 보상을 달성함을 입증한다.

또한, 완전 그래프(또는 정책·보상이 루트 상태만 의존하는 경우)에서는 장식된 뿌리 이웃 분포가 단순히 상태 분포 µ∈P(X) 로 축소된다. 따라서 고전적인 평균장 제어가 본 프레임워크의 특수 경우임을 보여, 이론적 일관성을 확보한다.

전체적으로 논문은 (1) 희소 그래프에 대한 엄밀한 평균장 한계 모델링, (2) 시간‑의존 지역성 정리를 통한 문제 차원 축소, (3) GNN 기반 강화학습 알고리즘의 이론적 정당화 및 실증적 검증이라는 세 축을 통해, 기존 평균장 제어가 갖던 교환 가능성 가정을 넘어 실제 네트워크에 적용 가능한 새로운 패러다임을 제시한다.

**