다중에이전트 DRL 기반 V2X 자원 할당: 도전 과제 해체와 벤치마크

초록

본 논문은 C‑V2X 무선 자원 할당 문제를 다중에이전트 강화학습(MARL) 환경으로 모델링하고, 비정상성·협조·대규모 행동공간·부분관측·일반화·견고성 등 다섯 가지 핵심 과제를 단계별 간섭 게임으로 분리한다. SUMO 기반 고속도로 트레이스와 다양한 토폴로지를 활용한 대규모 데이터셋을 구축한 뒤, 8가지 대표 MARL 알고리즘을 체계적으로 벤치마크한다. 실험 결과, 토폴로지에 대한 정책의 견고성·일반화가 가장 큰 병목이며, 복잡한 과제에서는 액터‑크리틱 방식이 가치‑기반 방식보다 42 % 높은 성능을 보인다. Zero‑shot 정책 전이와 IPPO 기반 독립 학습이 실용적 베이스라인으로 제시된다.

상세 분석

본 연구는 C‑V2X 라디오 자원 할당(RRA)을 “다중‑에이전트 간섭 게임”이라는 수학적 프레임워크로 재구성한다. 게임은 복잡도가 점진적으로 증가하도록 설계돼, 첫 번째 단계에서는 비정상성만을 포함하고, 두 번째 단계에서는 협조 문제와 대규모 행동 공간을 추가, 세 번째 단계에서는 부분관측과 잡음, 마지막 단계에서는 토폴로지 변화에 대한 일반화·견고성까지 포함한다. 이렇게 단계별로 문제를 분리함으로써 각 MARL 과제가 성능에 미치는 영향을 정량적으로 측정할 수 있다.

데이터셋 구축은 SUMO 시뮬레이터를 이용해 다양한 차량 밀도·속도·헤드웨이 조건을 반영한 고속도로 트레이스를 생성하고, 각 트레이스마다 채널 이득·간섭 매트릭스를 마코프 과정으로 모델링한다. 이를 통해 학습·테스트 단계에서 “보았던 토폴로지”와 “보지 못한 토폴로지”를 명확히 구분할 수 있다.

알고리즘 측면에서는 독립 학습(IL)과 중앙집중 훈련·분산 실행(CTDE) 두 패러다임을 모두 적용한 8가지 MARL 방법을 평가한다. 가치‑기반(DQN, DDQN, QMIX 등)과 정책‑그라디언트·액터‑크리틱(PPO, MAPPO, MADDPG 등)으로 구분했으며, 각 방법에 대한 하이퍼파라미터 튜닝과 학습 안정성 검증을 수행했다.

핵심 결과는 다음과 같다. (1) 토폴로지 변동에 대한 정책의 견고성·일반화가 가장 큰 성능 저하 요인이며, 이는 기존 연구에서 충분히 다루어지지 않은 부분이다. (2) 복잡도가 높은 간섭 게임에서는 액터‑크리틱 계열이 가치‑기반 계열보다 평균 42 % 높은 성공률(전송 성공률·스루풋)과 낮은 지연을 기록한다. (3) CTDE가 일부 상황에서 약간의 이득을 주지만, 독립 PPO(IPPO)가 학습·배포 비용과 확장성 면에서 가장 효율적이며, 특히 대규모 에이전트(수백 개) 환경에서 성능 저하가 거의 없다. (4) Zero‑shot 정책 전이를 위해 학습 단계에서 토폴로지 다양성을 크게 확대해야 하며, 이를 위한 데이터 증강 기법이 필요함을 시사한다. 마지막으로, 코드·데이터·벤치마크 스위트를 오픈소스로 제공함으로써 향후 연구자들이 동일한 평가 환경에서 새로운 MARL 기법을 검증할 수 있는 기반을 마련했다.