똑똑한 다중 에이전트 고도 기반 실내 네트워크 탐사

초록

**
본 논문은 GNSS가 차단된 실내 환경에서 다수의 UAV가 제한된 통신 자원을 활용해 협업적으로 탐사하도록, Godot 엔진 기반 2D 시뮬레이션과 연속 행동 공간을 갖는 MARL 프레임워크를 설계·학습한다. ND‑POMDP를 기반으로 한 보상 설계와 커리큘럼 학습을 통해 95 % 이상의 영역 커버리지를 달성하고, CNN 기반 경량 네트워크가 성능을 20 % 향상시켰음을 보인다.

**

상세 분석

**
이 연구는 실내 무인항공기(UAV) 집단이 제한된 대역폭·지연·통신 범위 하에서 어떻게 효율적으로 협업 탐사 전략을 학습할 수 있는지를 체계적으로 탐구한다. 먼저, 기존 연구가 주로 이산 행동, 중앙집중식 학습·실행, 혹은 영구적인 연결을 가정한 점을 지적하고, 이를 연속 행동 공간과 분산 실행(CTDE)으로 확장한다. 핵심 이론적 토대는 Network‑Distributed Partially Observable Markov Decision Process(ND‑POMDP)이며, 여기서는 통신 그래프 G를 명시적으로 모델링해 에이전트 간 연결·단절을 동적으로 반영한다.

보상 함수는 ‘새롭게 탐색된 면적’ ΔArea를 정규화한 형태로 설계돼, 에이전트가 정지하거나 중복 탐사를 피하도록 유도한다. 충돌 페널티를 가중치 W_collision 으로 별도 설정함으로써, 탐사 효율과 안전성 간의 명시적 트레이드오프를 제공한다. 이 설계는 초기 실험에서 충돌 회피를 위해 정지하는 현상을 방지하고, 지속적인 움직임을 촉진한다는 점에서 실용적이다.

관측은 2D 라이다(RayCast2D)와 에이전트 자체의 위치·속도 정보를 포함한다. 라이다 데이터는 베이즈 로그오즈 업데이트를 통해 로컬 점유 그리드 맵을 구축하고, 정책 네트워크 입력으로는 에이전트 중심의 고정 크기 egocentric map을 사용한다. 이는 관측 차원을 제한하면서도 공간적 맥락을 보존한다.

신경망 구조는 복잡한 순환·트랜스포머 대신 2‑D 합성곱(CNN) 기반 경량 모델을 채택한다. 실험 결과, CNN이 RNN 대비 학습 안정성과 추론 속도에서 약 20 % 향상을 보였으며, 이는 실시간 로봇 제어에 중요한 요소다. 또한, 커리큘럼 학습을 5단계로 설계해 점진적으로 환경 복잡도와 에이전트 수를 증가시킴으로써 수렴 속도를 크게 단축하고, 다양한 시나리오에 대한 일반화 능력을 확보했다.

학습 파이프라인은 Ray RLlib와 Weights & Biases를 활용해 대규모 하이퍼파라미터 탐색과 실험 추적을 자동화했으며, HPC 클러스터(Deucalion, Cirrus)에서도 재현 가능하도록 설계되었다. MARL 패러다임은 CTCE, DTDE, CTDE 세 가지를 모두 구현했으며, 실험에서는 CTDE가 가장 높은 협업 효율과 영역 커버리지를 기록했다.

전체적으로 이 논문은 고충실도 게임 엔진(Godot)을 활용한 물리 기반 시뮬레이션, 연속 행동 MARL, 현실적인 통신 모델, 경량 CNN 구조, 그리고 커리큘럼 학습이라는 다섯 축을 결합해, 실내 UAV 스웜 탐사에 필요한 핵심 기술들을 종합적으로 검증한다. 이는 향후 실제 로봇에 적용 가능한 학습된 정책을 제공함과 동시에, 복잡한 네트워크 제약 하에서도 확장 가능한 협업 프레임워크를 제시한다는 점에서 큰 의미를 가진다.

**