대규모 다중에이전트 협업을 위한 CREW 와일드파이어 벤치마크

초록

CREW‑Wildfire는 인간‑AI 팀팅 플랫폼 CREW 위에 구축된 오픈소스 벤치마크로, 절차적으로 생성되는 대규모 화재 대응 시나리오를 제공한다. 2000명 이상의 에이전트, 이질적인 역할(소방관, 불도저, 드론, 헬리콥터), 부분 관측, 확률적 환경 변화, 장기 계획 목표 등을 지원하며, 저수준 제어와 고수준 자연어 인터페이스를 동시에 제공한다. 최신 LLM 기반 다중에이전트 프레임워크들을 평가한 결과, 규모 확대와 복잡한 공간·시간 추론에서 현존 시스템이 큰 성능 격차를 보이며, 협업, 의사소통, 적응 계획 등 핵심 과제가 남아 있음을 확인한다.

상세 분석

CREW‑Wildfire는 기존 벤치마크가 갖는 “소규모·완전관측·정적·단순목표” 한계를 근본적으로 탈피한다는 점에서 학술적·산업적 의의가 크다. 첫째, 절차적 지도 생성은 Perlin noise와 풍향·수분·고도 데이터를 결합해 매번 새로운 지형·식생·인프라 구성을 만든다. 이는 에이전트가 동일한 정책을 반복적으로 적용할 수 없게 하여 일반화 능력을 강제한다. 둘째, 화재 전파 모델은 경사·풍향·수분·식생 유형을 수식화한 셀룰러 오토마타로, 확률적 p_spread 를 통해 불꽃이 상승·하강, 바람과의 정렬에 따라 비선형적으로 확산한다. 이러한 동적 불확실성은 에이전트가 실시간 감지·예측·재계획을 수행하도록 만든다. 셋째, 이질적인 에이전트 풀(소방관, 불도저, 드론, 헬리콥터)은 각각 고유한 행동 집합과 제한된 물리적 능력을 갖는다. 예를 들어, 헬리콥터는 장거리 수송이 가능하지만 직접 진화는 못하고, 드론은 정찰에 강하지만 물리적 개입이 불가능하다. 이러한 상호 의존성은 역할 할당·협업 프로토콜·자원 스케줄링을 필수적으로 만든다. 넷째, 관측 인터페이스는 저수준 이미지·미니맵·벡터와 고수준 텍스트·ASCII를 혼합 제공한다. Perception 모듈은 LLM이 멀티모달 입력을 해석하도록 설계돼, 기존 텍스트‑전용 프레임워크와 차별화된다. 다섯째, Execution 모듈은 LLM이 생성한 자연어 명령을 저수준 행동 텐서(이산·연속)로 변환해 시뮬레이션에 적용한다. 이 과정에서 명령의 구문·의미 일관성 검증, 충돌 방지, 실시간 피드백이 필요해, 언어 모델의 “계획 → 실행” 파이프라인을 실제 로봇 제어 수준까지 확장한다. 여섯째, 평가 지표는 스케일(에이전트 수), 협업 효율(작업 분배·통신 비용), 적응성(동적 재계획 성공률), 공간 추론(화재 전파 예측 정확도) 등을 다층적으로 측정한다. 논문에서 제시한 실험 결과는 현재 SOTA LLM 기반 다중에이전트 시스템이 소규모 환경에서는 협업을 보여도, 100명 이상으로 스케일링하거나 복잡한 지형·날씨·인구 분포가 결합된 상황에서는 통신 과부하·역할 충돌·계획 붕괴가 빈번히 발생함을 드러낸다. 이는 LLM이 “언어적 협업”에 강점이 있더라도, 물리적 제약·불확실성·장기 목표 관리에 대한 메타‑리인포스먼트나 외부 기억 체계가 부족함을 시사한다. 마지막으로, 오픈소스 코드와 데이터셋을 공개함으로써 연구 커뮤니티가 동일한 환경에서 재현·비교·확장 실험을 수행할 수 있게 하여, 향후 “에이전시 + 물리·시뮬레이션” 융합 연구의 표준 플랫폼 역할을 할 가능성이 높다.