안전중심 교통 시뮬레이션을 위한 게임이론 기반 TrafficGamer

초록

TrafficGamer는 교통을 다중 에이전트 게임으로 모델링하고, Coarse Correlated Equilibrium(CCE)를 활용해 안전‑중요 시나리오를 효율적으로 생성한다. 사전 학습 단계에서 실제 주행 데이터를 기반으로 세계 모델을 학습하고, 이후 강화학습과 게임이론 기반 미세조정을 통해 위험 수준·교통 밀도에 따라 유연하게 시나리오를 제어한다. 실험은 두 개의 대규모 공개 데이터셋에서 충실도, exploitatability, 다양성, 유연성을 종합적으로 검증하였다.

상세 분석

본 논문은 자율주행 차량(AV) 검증에 필수적인 ‘희귀·고위험’ 교통 상황을 시뮬레이션하기 위한 새로운 프레임워크인 TrafficGamer를 제안한다. 핵심 아이디어는 교통 흐름을 일반‑합 게임으로 정의하고, 완전한 정보가 없고 동적이며 비협조적인 환경에 적합한 Coarse Correlated Equilibrium(CCE)를 목표로 정책을 학습하는 것이다. CCE는 Nash Equilibrium와 달리 복잡도 O(I·|A|) 수준으로 낮으며, 각 차량이 ‘거친 신호(예: 앞차와의 거리, 속도 제한)’만을 관측해도 균형을 형성할 수 있게 한다.

프레임워크는 두 단계로 구성된다. 1) 사전 학습(pre‑training) 단계에서는 대규모 주행 데이터셋을 이용해 자동 회귀식(autoregressive) 세계 모델을 학습한다. 여기서는 관측‑행동 시퀀스를 재현함으로써 인간 운전자의 멀티모달 행동 분포를 캡처한다. 2) 미세조정(fine‑tuning) 단계에서는 이 세계 모델을 강화학습 환경으로 전환하고, 다중 에이전트 강화학습(MARL)과 CCE‑Solver를 결합한다. CCE‑Solver는 Lagrangian 기반 거리 제약과 Conditional Value‑at‑Risk(CVaR) 위험 민감도 조절을 통해 ‘경쟁 강도’를 정량화한다. 거리 제약 λ·‖d_i−d_j‖≤θ와 위험 계수 ρ·CVaR_α를 손실에 가중치(η)로 삽입함으로써, 시나리오 생성 시 교통 밀도·위험 회피·공격성 사이의 트레이드오프를 명시적으로 조정한다.

알고리즘적 측면에서 저자는 ‘magnet mirror descent’를 이용해 정책 파라미터 θ를 CCE에 수렴시키는 최적화 절차를 설계하였다. 이 방법은 Bregman 발산 ψ를 이용한 비대칭 업데이트를 제공해, 기존 정책 그라디언트 상승보다 더 안정적인 수렴을 보인다. 또한, KL·Hellinger·Wasserstein 등 여러 발산 지표를 통해 정책 간 차이를 정량화하고, MMD(Maximum Mean Discrepancy) 기반 정규화(η₁,η₂,η₃)로 생성된 트래젝터리의 현실성을 유지한다.

실험에서는 두 개의 대규모 공개 데이터셋(Nuscenes, Waymo Open Dataset)을 사용해 네 가지 평가 차원(충실도, exploitability, 다양성, 유연성)을 측정하였다. 충실도는 Kullback‑Leibler 및 Hellinger 거리로 실제 데이터와의 분포 차이를 평가했으며, TrafficGamer가 기존 GAN‑기반·RL‑기반 방법보다 평균 15%~22% 낮은 거리 값을 기록했다. Exploitability는 상대적 정책이 CCE를 깨뜨릴 수 있는 정도를 측정하는 ‘베스트 응답 손실’로 정의했으며, 제안 방법은 0.07 이하의 낮은 값을 유지해 균형이 견고함을 입증했다. 다양성은 시나리오 간 평균 최소 거리와 시뮬레이션 시간당 고유 시나리오 수로 측정했으며, 위험 민감도 파라미터 α와 ρ를 변화시킴으로써 3배 이상의 시나리오 변형을 생성했다. 마지막으로 유연성 실험에서는 거리 제약 λ과 위험 계수 ρ를 조정해 교통 밀도가 높은 상황에서도 안전‑중요 충돌을 유도하거나, 반대로 완화된 상황을 만들 수 있음을 보였다.

이러한 결과는 TrafficGamer가 (1) 실제 인간 운전 행동을 고충실도로 재현하고, (2) 게임이론적 균형을 통해 다중 차량 간 전략적 상호작용을 정확히 모델링하며, (3) 위험·밀도 파라미터를 통해 시나리오를 자유롭게 조절할 수 있음을 시사한다. 특히 CCE 기반 접근은 기존 Nash 혹은 Correlated Equilibrium 기반 시뮬레이터가 갖는 ‘완전 정보 필요’와 ‘고복잡도’ 문제를 효과적으로 회피한다는 점에서 학술적·산업적 의의가 크다.