동적 게임의 베스트 응답 맵을 활용한 데이터 기반 구조 분해

초록

본 논문은 동적 게임에서 Nash(또는 일반화 Nash) 균형을 계산할 때 발생하는 고차원 결합 최적화와 수치 불안정을 해소하고자, 비에고(ego) 에이전트의 최적화 문제에 오프라인에서 학습된 베스트 응답 맵을 제약식으로 삽입하는 구조적 감소 기법을 제안한다. 정확한 베스트 응답 연산자가 주어지면 감소된 문제의 해는 원 게임의 지역 개방형 Nash 균형과 동등함을 정리로 증명하고, 근사 베스트 응답을 사용할 경우 근사 오차에 비례한 균형 일관성을 보장한다. 제안 방법은 자율 레이싱 시나리오에서 대규모 몬테카를로 실험을 통해 기존 연합형 솔버와 비교해 해의 질, 계산 시간, 제약 만족도에서 우수함을 실증한다.

상세 분석

이 논문은 동적 게임의 equilibrium computation을 기존의 두 가지 전통적 접근법—전체 게임을 한 번에 풀어야 하는 joint‑solver와 베스트 응답을 반복적으로 계산하는 IBR(Iterative Best Response)—의 한계에서 출발한다. Joint‑solver는 모든 에이전트의 목적함수와 제약조건을 명시적으로 알아야 하며, 변수 차원이 급증하고 KKT 혹은 MCP 형태의 결합 방정식을 풀어야 하기 때문에 수치적 조건이 악화되고 수렴이 불안정해진다. 반면 IBR은 베스트 응답을 매 단계마다 풀어야 하므로 온라인 계산 부하가 크고, 비선형·비볼록 게임에서는 수렴 보장이 없으며, 미분을 통해 베스트 응답을 연쇄적으로 연결하면 Stackelberg 형태의 해가 도출될 위험이 있다.

저자는 이러한 문제를 ‘구조적 감소’를 통해 해결한다. 핵심 아이디어는 비에고(ego) 에이전트가 아닌 상대 에이전트의 최적화 블록을 온라인에서 제거하고, 대신 오프라인에 수집된 데이터로부터 학습된 베스트 응답 맵 (B_2(\cdot)) 를 직접 제약식 (Z_2 = B_2(Z_1)) 로 삽입하는 것이다. 이렇게 하면 온라인 최적화 문제는 비에고 에이전트의 KKT 조건과 베스트 응답 일치 제약만을 포함하는 비결합 형태가 되며, 연쇄 미분(chain‑rule)으로 인한 파생 결합도 사라진다.

수학적으로는 원래의 결합 KKT 시스템 (F_{KKT}(Z_1,Z_2,\Lambda_1,\Lambda_2)=0) 을, 비에고의 KKT와 베스트 응답 일치 제약을 결합한 축소 시스템 (F_{red}(Z_1,\Lambda_1,Z_2)=\big