전기 라이드헤일링을 위한 무후회 스택엘버그 학습

초록

리더가 하위 게임의 구조를 모르는 상황에서, 가우시안 프로세스 기반 무후회 알고리즘을 이용해 전기 라이드헤일링 시장의 충전 가격을 최적화하고, O(√T) 수렴률로 ε‑스택엘버그 균형을 달성한다.

상세 분석

본 논문은 단일 리더·다중 팔로워 구조의 스택엘버그 게임을, 하위 레벨 게임을 블랙박스로 취급하면서도 효율적으로 학습하는 방법을 제시한다. 기존 연구들은 하위 에이전트의 유틸리티 함수와 그 그래디언트를 필요로 하는 하이퍼그래디언트 추정에 의존했으나, 이는 프라이버시와 실용성 측면에서 큰 제약이 있다. 저자들은 이러한 제약을 극복하기 위해 두 가지 핵심 가정을 둔다. 첫째, 팔로워들의 상호작용이 강단조성(α‑strong monotonicity)과 볼록성을 만족하여 고유한 내시 균형이 존재하고, 근사 내시 균형을 다항식 시간 내에 얻을 수 있다고 가정한다. 둘째, 리더의 비용 함수 J(π) 가 재생 커널 힐베르트 공간(RKHS) 내에서 유한한 노름을 가지며, 입력(가격)과 출력(사회적 비용) 사이에 리프시치 연속성을 보인다고 가정한다. 이러한 가정 하에, 리더는 매 라운드마다 가격 벡터 π_t 를 선택하고, 팔로워들은 ApproxNE 서브루틴을 통해 해당 가격에 대한 근사 내시 균형 x_t(π_t) 를 도출한다. 리더는 실제 관측된 비용 J(π_t, x_t(π_t)) 만을 이용해 가우시안 프로세스(GP) 회귀를 수행한다. GP의 사전은 평균 0, 커널 k(·,·) 로 정의되며, 관측값에 포함된 오차 ε_t 는 R‑sub‑Gaussian이라고 가정한다. 이를 통해 매 단계마다 posterior 평균 µ_t(π) 와 분산 σ_t^2(π) 를 업데이트하고, Upper Confidence Bound (UCB) 탐색 전략을 적용해 다음 가격을 선택한다. 알고리즘은 외부 루프와 내부 루프(팔로워 학습) 두 겹 구조이며, 전체 regret R_T 를 O(√T) 로 제한한다. 정리 1에 따르면, 무후회가 보장되면 ε‑스택엘버그 균형에 수렴한다는 것이 증명된다. 특히, 이 방법은 한 번에 하나의 가격 벡터만 평가할 수 있는 제한된 피드백(밴딧) 상황에서도 적용 가능하므로, 실제 전기 라이드헤일링 시장과 같은 실시간 정책 설정에 적합하다. 실험에서는 EPFL 기반 전기 라이드헤일링 시뮬레이션을 구축해, 목표 차량 분포 ξ* 에 대한 비용 최소화를 목표로 하였으며, 제안 알고리즘이 기존 1‑팔로워 기반 방법보다 빠르게 비용을 감소시키고, 약 10% 수준의 ε‑오차 내에서 안정적인 가격 정책을 도출함을 확인했다.