협업 그래프 베이지안 게임에서 에이전트와 타입 독립성 활용

**1. 서론** 협업 다중 에이전트 시스템은 복잡한 문제를 분산 처리하고, 개별 에이전트가 제한된 센서와 통신으로 인해 불완전 정보를 가질 때 특히 어려움을 겪는다. 이러한 상황을 모델링하기 위해 베이지안 게임(BG)이 도입되었으며, 협업 베이지안 게임(CBG)은 모든 에이전트가 동일한 전역 보상을 공유한다는 점에서 중요한 연구 대상이 된다. 그러나 CBG는 에이전트·액션·타입 수가 늘어날수록 보상 함수와 최적 정책을 표현·계산하는 비용이 지수적으로 증가한다. **2. 배경** 전통적인 전략 게임(SG)과 협업 전략 게임(CSG)은 전역 보상 함수를 하나의 테이블로 저장한다. 그래프 구조를 도입한 협업 그래프 전략 게임(CGSG)은 보상 함수를 지역 보상 함수들의 합으로 분해해 에이전트 독립성을 활용한다. 베이지안 게임은 각 에이전트가 ‘타입’이라는 개인 정보를 가지고, 타입에 따라 보상이 달라지는 구조를 갖는다. 이러한 베이지안 게임에 그래프 구조를 결합하면 CGBG라는 새로운 모델이 탄생한다. **3. 협업 그래프 베이지안 게임(CGBG) 정의** CGBG는 (i) 전역 보상 함수가 지역 보상 함수들의 합으로 표현되고, (ii) 각 지역 보상 함수는 제한된 에이전트 집합에만 의존한다는 **에이전트 독립성**을 가진다. 동시에, (iii) 각 에이전트는 한 번에 하나의 타입만 실현하므로, 기대 보상이 특정 타입 집합에만 의존한다는 **타입 독립성**을 가진다. 이러한 두 독립성을 동시에 포착하기 위해 저자들은 **팩터 그래프**를 설계한다. 변수 노드는 (에이전트, 타입) 쌍을, 팩터 노드는 (지역 보상, 타입 조건부 확률) 정보를 담는다. 팩터 그래프는 에이전트·타입·지역 보상 간의 희소 연결을 명시적으로 나타내어, 전통적인 완전 전개 방식보다 메모리와 연산량을 크게 절감한다. **4. 해결 알고리즘** - **비직렬 동적 프로그래밍(NDP)**: 팩터 그래프를 트리 형태(또는 트리와 유사한 순서)로 정렬하고, 변수들을 차례로 제거하면서 부분 최적값을 축적한다. NDP는 정확한 최적 해를 제공하지만, 복잡도는 여전히 타입 수에 대해 지수적이다. - **MAX‑PLUS**: 메시지 전달 방식으로, 각 팩터가 인접 변수에게 ‘max‑sum’ 메시지를 보내고, 변수는 들어온 메시지를 최대화해 새로운 메시지를 전송한다. 지역 차수가 작을 경우(즉, 에이전트·타입 독립성이 강할 경우) 선형에 가까운 시간 복잡도를 보이며, 실험적으로 높은 품질의 근사 해를 빠르게 얻는다. 수렴 보장은 없지만, 대부분의 실험에서 안정적인 결과를 얻었다. **5. 복잡도 분석** NDP의 시간·공간 복잡도는 팩터 그래프의 트리폭(treewidth)과 타입 수의 곱에 비례한다. 반면, MAX‑PLUS는 각 팩터의 스코프 크기와 메시지 전달 횟수에 따라 선형에 가까운 복잡도를 가진다. 따라서 에이전트·액션·타입이 많아도 지역 스코프가 제한적이면 실용적인 실행 시간이 보장된다. **6. 실험** - **무작위 CGBG**: 에이전트 수, 액션 수, 타입 수를 다양하게 변형하여 NDP와 MAX‑PLUS를 비교. NDP는 작은 규모에서 빠르지만, 규모가 커지면 메모리 초과·시간 폭증. MAX‑PLUS는 근사 정확도가 약간 낮지만, 1000명 규모까지도 실행 가능. - **벤치마크(화재 진압, 센서 네트워크)**: 기존 MAID 변환, CGSG 변환 등과 비교했을 때, 팩터 그래프 기반 방법이 메모리 사용량과 실행 시간에서 현저히 우수함을 확인. 특히, 타입 독립성을 활용하지 않은 변환은 보상 테이블이 폭발적으로 커졌다. - **Dec‑POMDP 적용**: 각 단계의 Dec‑POMDP를 CGBG로 근사화하고, MAX‑PLUS를 이용해 정책을 생성. 화재 진압 시나리오에서 1000명 에이전트까지 확장 가능했으며, 기존 Dec‑POMDP 솔버가 20~30명에 머물렀던 점과 대비된다. **7. 관련 연구와 차별점** 기존 연구는 (i) MAID 변환을 통해 CGBG를 풀었지만, 단일 강하게 연결된 컴포넌트 때문에 브루트포스 탐색에 의존하거나, (ii) CGSG를 비협업 형태로 변환해 타입 독립성을 손실시켰다. 또한, 제약 최적화 기반 방법은 타입 독립성을 암묵적으로 활용했지만, 에이전트 독립성을 명시적으로 이용하지 못했다. 본 논문은 두 독립성을 동시에 명시·활용함으로써, 기존 방법보다 훨씬 높은 확장성을 달성한다. **8. 향후 연구** - 동적 환경에서 팩터 그래프 구조를 자동으로 학습하거나 적응시키는 방법. - MAX‑PLUS의 수렴성을 보장하는 이론적 조건 탐색. - 다른 메시지 전달 알고리즘(예: ADMM, 변분 베이즈)과의 비교. - 실제 로봇·드론 군집에 적용해 실시간 정책 생성 가능성 검증. **9. 결론** CGBG와 그에 대한 팩터 그래프 기반 솔버(NDP, MAX‑PLUS)는 에이전트·타입·액션 수가 크게 늘어나는 협업 베이지안 게임과 Dec‑POMDP 문제에 대해 실질적인 확장성을 제공한다. 두 차원의 독립성을 동시에 활용함으로써, 기존 방법이 직면하던 차원 폭발 문제를 효과적으로 완화한다는 점에서, 협업 다중 에이전트 의사결정 분야에 중요한 진전을 제시한다.