가상 커뮤니티: 인간·로봇·사회가 공존하는 열린 세계

초록

본 논문은 물리 엔진 기반의 오픈월드 시뮬레이터 “Virtual Community”를 제안한다. 실제 3D 지리 데이터를 정제·강화해 대규모 실내·실외 환경을 자동 생성하고, 인간 아바타와 다양한 로봇을 동일 프레임워크에서 물리·사회적 상호작용이 가능하도록 통합한다. 이를 바탕으로 “Community Planning Challenge”와 “Community Robot Challenge”라는 두 가지 멀티에이전트 과제를 정의하고, 여러 베이스라인을 평가한다.

상세 분석

Virtual Community는 기존 임베디드 AI 시뮬레이터가 가지고 있던 두 가지 근본적 한계를 동시에 해결한다. 첫째, 물리적 사실성을 유지하면서 수백 명 규모의 인간형 아바타와 다중 로봇을 동시에 시뮬레이션할 수 있는 통합 엔진을 제공한다. 이를 위해 Genesis 물리 엔진을 기반으로 인간과 로봇 각각에 맞는 관측·행동 공간을 정의하고, 충돌, 힘, 마찰 등 정밀한 물리 상호작용을 지원한다. 둘째, 실제 지도 데이터(Google Maps, OpenStreetMap)를 활용해 전 세계 도시를 재구성하고, 텍스처 인페인팅·메시 단순화·객체 삽입 파이프라인을 통해 시각·물리 품질을 크게 향상시킨다. 특히 Stable Diffusion 3 기반 텍스처 복원과 One‑2‑3‑45 3D 메쉬 생성 기술을 결합해, 항공 사진 기반의 거친 지형을 보행 수준의 디테일로 변환한다.

에이전트 생성 측면에서는 GPT‑4o를 이용해 장면 설명을 입력으로 인간 캐릭터 프로필과 사회 관계망을 자동 생성한다. 각 캐릭터는 나이, 직업, 가치관, 금전 상태 등 풍부한 메타데이터를 갖고, 장소·그룹·목표와 연결된 행동 목표를 부여받는다. 이렇게 구축된 사회 그래프는 Community Planning Challenge에서 에이전트 간 협업·도움 요청·사회적 연결을 평가하는 데 활용된다.

Challenge 설계도 주목할 만하다. Planning Challenge는 “일상 지원”과 “사회적 영향” 두 서브태스크로 나뉘며, 에이전트는 제한된 정보와 동적인 환경 속에서 목표 지점까지 이동하거나 다른 에이전트를 찾아 연결해야 한다. 이는 전통적인 MARL이 직면하는 상태·액션 폭발 문제를 그대로 드러내며, 논문에서는 행동 계획 기반 모델, 그래프 신경망, 그리고 대규모 샘플링 기법을 비교한다. Robot Challenge는 이질적인 로봇(바퀴형, 모바일 매니퓰레이터 등)이 협력해 실내·실외 복합 작업을 수행하도록 설계되었으며, 물리적 제어와 고수준 계획 사이의 격차를 실험적으로 보여준다.

실험 결과, 현재 베이스라인은 고수준 목표 달성에는 어느 정도 성공하지만, 로봇 간 정밀 협동(예: 물체 전달, 동시 이동)에서는 큰 오류를 보인다. 이는 시뮬레이션이 제공하는 물리 정확도와 복잡한 사회적 상호작용이 동시에 요구되는 새로운 연구 지점을 제시한다는 점에서 의미가 크다. 전체적으로 이 플랫폼은 인간‑로봇 공동체 연구를 위한 실험 기반을 제공함과 동시에, 대규모 멀티에이전트 학습·계획 알고리즘의 한계를 드러내는 중요한 벤치마크 역할을 한다.