중앙집중식과 스웜 기반 하이브리드 에이전트 커뮤니티 연구

초록

본 논문은 중앙집중식과 스웜 기반 방식을 결합한 다중 에이전트 시스템의 구조를 제시한다. 전역 에이전트가 상황별 응답을 학습해 로컬 에이전트에게 전달함으로써 목표 할당 문제를 해결한다. 실험으로는 추격 게임을 채택했으며, 캡터 에이전트들이 보드 상태에 대한 해답을 찾지 못할 경우 전역 에이전트가 유전 알고리즘을 이용해 해를 생성하고, 이를 다층 퍼셉트론 신경망을 통해 로컬 에이전트가 학습한다. 에이전트 간 협력 메커니즘과 시뮬레이션 결과를 논의한다.

상세 요약

이 연구는 다중 에이전트 시스템(MAS) 설계에서 흔히 마주치는 두 가지 패러다임, 즉 중앙집중식 제어와 분산형 스웜 지능을 통합하려는 시도를 보여준다. 전통적인 중앙집중식 구조는 전역적인 최적화를 가능하게 하지만 확장성·내결함성에서 한계를 보이며, 반면 스웜 기반 구조는 로컬 규칙에 의존해 자율성과 확장성을 제공하지만 전역 목표 달성에 있어 비효율적일 수 있다. 논문은 이러한 상충관계를 ‘전역 에이전트’와 ‘캡터 에이전트’라는 두 계층으로 구분함으로써 보완한다. 전역 에이전트는 유전 알고리즘(GA)을 활용해 보드의 최적 해를 탐색하고, 그 결과를 로컬 에이전트에게 지도학습 형태로 제공한다. 여기서 핵심은 로컬 에이전트가 다층 퍼셉트론(MLP) 신경망을 통해 전역 에이전트의 행동을 모방하고, 스스로 상황에 맞는 행동을 선택하도록 훈련된다는 점이다.

구현된 추격 게임은 캡터(추격자)와 프리터(피난자)로 구성된 2인 제로섬 게임이며, 캡터 에이전트들은 보드의 현재 상태를 입력으로 받아 이동 방향을 결정한다. 초기 학습 단계에서 캡터는 무작위 혹은 탐욕적인 정책으로 움직이며, 해결되지 못한 상태에 직면하면 전역 에이전트가 GA를 통해 최적 이동 시퀀스를 생성한다. 이때 생성된 시퀀스는 ‘정답 데이터’로 저장되고, 캡터는 이를 MLP에 입력‑출력 쌍으로 학습한다. 반복 학습을 거치면서 캡터는 전역 에이전트의 개입 없이도 대부분의 보드 상황을 해결할 수 있게 된다.

실험 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 전역 에이전트의 개입 빈도가 학습이 진행될수록 급격히 감소한다는 점이다. 이는 로컬 에이전트가 충분히 일반화된 정책을 획득했음을 의미한다. 둘째, 전역 에이전트가 제공한 솔루션이 반드시 최적일 필요는 없으며, 근사해라도 로컬 에이전트가 학습에 활용하면 전체 시스템의 성능이 크게 향상된다. 이는 ‘교사‑학생’ 관계를 통한 지식 전이(knowledge transfer)의 효율성을 입증한다.

하지만 몇 가지 한계도 존재한다. GA 기반 전역 에이전트는 계산 비용이 높아 실시간 응용에 제약이 있다. 또한 MLP 구조가 비교적 단순하기 때문에 복잡한 보드 상황에서 과적합(overfitting)이나 일반화 실패가 발생할 가능성이 있다. 향후 연구에서는 전역 에이전트의 탐색 알고리즘을 강화학습이나 진화 전략으로 대체하고, 로컬 에이전트의 모델을 컨볼루션 신경망(CNN)이나 트랜스포머 기반 구조로 확장함으로써 더 높은 차원의 상태 공간을 처리하도록 개선할 수 있다. 또한 전역·로컬 에이전트 간의 상호작용 프로토콜을 동적으로 조정하는 메커니즘을 도입하면, 전역 에이전트의 개입을 최소화하면서도 시스템 전체의 안정성을 유지할 수 있을 것이다.

전반적으로 이 논문은 하이브리드 MAS 설계에 대한 실용적인 프레임워크를 제시하고, 전역 지식 전파와 로컬 자율 학습이 어떻게 시너지 효과를 낼 수 있는지를 실험적으로 입증한다. 이러한 접근은 로봇 군집, 스마트 그리드, 자율 교통 시스템 등 다양한 도메인에 적용 가능성이 크다.