잠재 게임 기반 협동 제어를 위한 비합리적 선택 학습 알고리즘

초록

**
본 논문은 잠재 게임(potential game) 형태의 다중 에이전트 협동 제어 문제에 적용할 수 있는 새로운 학습 알고리즘인 Payoff‑based Inhomogeneous Partially Irrational Play(PIPIP)를 제안한다. PIPIP은 기존 DISL 알고리즘에 비합리적 선택 확률을 도입해 낮은 보상의 과거 행동을 가끔 선택하도록 함으로써, 불리한 순수 나쉬 균형에서 탈출하고 잠재 함수의 최대값에 해당하는 최적 나쉬 균형으로 수렴함을 확률적으로 보장한다. 센서 커버리지 실험을 통해 알고리즘의 수렴성, 적응성, 그리고 환경 변화에 대한 대응 능력을 검증하였다.

**

상세 분석

**
PIPIP은 기존의 Distributed Inhomogeneous Synchronous Learning(DISL) 구조를 그대로 유지하면서, 에이전트가 “비합리적” 행동을 할 확률 ε(t) 을 단계적으로 감소시키는 메커니즘을 추가한다. 이 비합리적 선택은 에이전트가 최근 두 번의 행동 중 보상이 낮았던 행동을 일정 확률로 재시도하게 함으로써, 현재 상태가 로컬 최적(불리한 순수 나쉬 균형)에 머무를 경우에도 시스템이 탈출 경로를 탐색하도록 만든다. 논문은 이를 마코프 체인 이론과 저항 트리(resistance tree) 분석에 기반한 정규 교란(regular perturbation) 프레임워크로 정형화한다.

주요 가정은 (1) 각 에이전트의 행동 제약 집합 R_i(a_i) 이 가역성, 연결성, 최소 3개의 선택지를 보장한다는 점, (2) 한 번에 하나의 에이전트가 행동을 바꿀 경우 보상 차이가 1보다 작게 스케일링될 수 있다는 점이다. 이러한 가정 하에 잠재 게임의 정의에 따라 로컬 유틸리티 변화와 전체 잠재 함수 변화가 일치함을 보장한다.

정리 1에서는 PIPIP이 ε→0 일 때 최적 나쉬 균형(잠재 함수 최대점)으로 수렴하는 확률적 수렴성을 증명한다. 증명은 (i) PIPIP이 원래 DISL의 마코프 연쇄 {P₀^t} 에 대한 정규 교란이며, (ii) 모든 비최적 균형에 도달하기 위한 최소 저항 경로가 비합리적 선택에 의해 증가함을 보인다. 결과적으로 최소 저항 트리를 구성하는 최적 균형 클래스가 유일한 스토캐스틱 스테이블 상태가 된다.

알고리즘 구현 측면에서 PIPIP은 (a) 각 에이전트가 과거 두 행동과 그에 대한 보상을 기억하는 제한된 메모리만 필요하고, (b) 실제 보상만을 사용하므로 가상 보상(virtual payoff)이나 다른 에이전트의 행동 정보를 요구하지 않는다. 또한 동기식(synchronous) 업데이트를 전제로 하여 실시간 로봇 시스템에 적용하기 용이하다.

실험에서는 센서 커버리지 문제를 설정하고, 밀도 함수가 고정된 경우와 이동하는 경우 두 시나리오를 검증한다. 고정 밀도에서는 장애물에 의해 형성된 비최적 나쉬 균형(센서가 특정 지역에 과도하게 몰리는 현상)에서 DISL이 정체되는 반면, PIPIP은 비합리적 선택을 통해 탈출하고 전체 커버리지를 최적화한다. 이동 밀도 상황에서는 PIPIP이 환경 변화에 따라 센서 배치를 지속적으로 재조정하며, 잠재 함수의 실시간 최대값을 추적한다.

비교 대상인 DISL, RSAP, PLLL과의 차별점도 명확히 제시한다. RSAP은 비동기식이며 가상 보상이 필요해 적용 범위가 제한되고, PLLL은 비합리적 선택을 허용하지만 행동 제약을 명시적으로 다루지 못한다. 반면 PIPIP은 행동 제약을 자연스럽게 통합하고, 수렴을 확률적 최적 나쉬 균형으로 보장한다는 점에서 실용적 우위를 가진다.

요약하면, PIPIP은 (1) 제한된 메모리와 실제 보상만을 이용한 경량 구현, (2) 비합리적 선택을 통한 전역 최적 탈출 메커니즘, (3) 동기식 업데이트와 행동 제약 처리 능력, (4) 확률적 수렴을 통한 최적 나쉬 균형 보장을 제공한다. 이는 잠재 게임 기반 협동 제어, 특히 사전 정보가 부족한 센서 배치와 같은 실시간 다중 로봇 시스템에 적용 가능한 강력한 학습 프레임워크라 할 수 있다.

**