정보병목과 벡터양자화를 이용한 대역폭 효율적 다중에이전트 통신

초록

본 논문은 정보병목 원리와 벡터 양자화(VQ)를 결합해 다중에이전트 강화학습(MARL) 환경에서 선택적이고 압축된 메시지를 학습한다. 게이트 기반 통신 스케줄링으로 언제 통신할지를 판단하고, VQ를 통해 메시지를 이산 토큰으로 변환해 비트 사용량을 크게 줄인다. 실험 결과, 무통신 기준 대비 181.8% 성능 향상을 달성하면서 대역폭 사용량을 41.4% 절감했으며, 성공률‑대역폭 파레토 곡선에서 모든 비교 방법을 압도한다.

상세 분석

이 연구는 MARL 시스템이 실제 로봇에 적용될 때 직면하는 제한된 대역폭, 지연, 에너지 제약을 이론적으로 정량화한다. 정보병목(I​B) 프레임워크를 사용해 메시지 M이 관측 S와 얼마나 많은 상호정보를 유지해야 하는지를 최적화하고, β 파라미터로 압축과 성능 사이의 트레이드오프를 조절한다. 연속 잠재 변수 Z에 대한 I​B 손실을 최소화한 뒤, VQ를 통해 Z를 K개의 코드북 벡터 C에 매핑함으로써 실제 전송되는 메시지는 log₂K 비트만 차지한다. 이산화 과정에서 정보 보존 비율 ρ≈0.85–0.95를 달성해, 양자화 손실이 거의 없음을 실험적으로 입증한다.

게이트 메커니즘은 관측 sₜᵢ, 이전 히든 상태 hₜ₋₁ᵢ, 그리고 네 가지 서브컨텍스트(메시지 히스토리, 대역폭 사용률, 협조 필요도, 시간적 효율성)를 결합해 통신 확률 p_commᵢ=σ(gθ(·))를 계산한다. Gumbel‑Softmax 트릭을 적용해 이산 샘플링을 미분 가능하게 만들고, τ를 1.0→0.1로 스케줄링해 학습 초기에 탐색을, 후기에 수렴을 촉진한다.

제약 만족을 위해 두 가지 방법을 제시한다. (1) 소프트 페널티 L_constraint=λ_c·max(0,E