실내 시뮬레이션을 위한 에이전트 기반 장면 생성 프레임워크

초록

SceneSmith는 자연어 프롬프트를 입력으로 받아, 건축 레이아웃부터 가구·소품 배치까지 계층적 에이전트(디자이너·비평가·오케스트레이터) 간의 상호작용으로 시뮬레이션에 바로 사용할 수 있는 물리적 속성을 갖춘 실내 장면을 자동 생성한다. 기존 방법보다 3‑6배 많은 객체를 배치하면서 충돌은 2% 미만, 물리 안정성은 96%를 달성한다. 사용자 조사에서 현실감 92%, 프롬프트 충실도 91%의 우수성을 보였으며, 로봇 정책 평가 파이프라인에도 적용 가능하다.

상세 분석

SceneSmith는 “에이전트 기반”이라는 새로운 패러다임을 실내 장면 합성에 도입했다. 핵심은 세 종류의 비전‑언어 모델(VLM) 에이전트가 순차적·병렬적으로 협업하는 구조이다. 디자이너 에이전트는 현재 단계의 목표에 맞춰 객체를 배치하거나 수정하는 명령을 생성하고, 비평가 에이전트는 물리적 충돌, 지지 관계, 의미적 일관성 등을 자동 검증한다. 오케스트레이터는 점수 기반 피드백을 받아 제안 수용·재시도·단계 종료를 제어한다. 이 삼중구조는 단일 LLM이 수행하던 “생성‑평가‑반복” 루프보다 오류 전파를 억제하고, 각 역할에 특화된 툴셋을 독립적으로 활용할 수 있게 한다.

툴 체계도 중요한 혁신이다. 상태 관찰, 시각적 렌더링, 객체 배치·스냅, 충돌·접근성 검사 등 20여 개의 도구가 정의돼 있으며, 역할별 접근 권한이 엄격히 구분된다. 디자이너는 배치·스냅 도구를, 비평가는 검증 도구만 사용한다는 점에서 설계 의도가 명확히 드러난다. 메모리 관리 역시 “턴 기반 요약” 방식을 도입해 장기 컨텍스트를 압축, 최신 두 턴은 원문을 유지해 세밀한 조정을 가능하게 한다.

자산 생성 파이프라인은 두 갈래로 나뉜다. 정적 객체는 최신 텍스트‑투‑3D 모델(예: DreamFusion 계열)로 직접 생성하고, 관절이 있는 가구·기구는 기존 3D 데이터베이스에서 검색한다. 라우터는 요청된 객체의 속성(정적·관절·물리)과 시뮬레이션 요구사항을 매핑해 적절한 소스와 파라미터를 선택한다. 이렇게 생성된 메쉬는 자동으로 충돌 기하와 질량·관성·마찰 계수를 추정해 물리 엔진에 바로 투입될 수 있다.

실험 결과는 두 축면에서 강력함을 입증한다. 210개의 다양한 프롬프트에 대해 평균 71개의 객체를 배치했으며, 충돌 비율은 2% 미만, 물리 시뮬레이션에서 96%가 안정적으로 유지되었다. 이는 기존 데이터‑기반 혹은 절차적 방법이 3‑29% 충돌, 8‑61% 안정성에 머물렀던 것과 큰 차이를 보인다. 사용자 연구(205명)에서도 현실감·프롬프트 충실도 모두 90% 이상을 기록, 베이스라인 대비 통계적으로 유의미한 우위를 차지했다. 마지막으로, 생성된 장면을 로봇 정책 평가 파이프라인에 연결해 자연어 작업 명세 → 장면 생성 → 정책 실행 → 성공 검증까지 전 과정을 자동화함으로써 시뮬레이션 기반 로봇 학습·평가의 효율성을 크게 향상시켰다.

이러한 설계는 “시뮬레이션‑준비된” 장면을 대규모로, 그리고 의미·물리적으로 일관되게 생성할 수 있는 첫 번째 통합 프레임워크로 평가된다. 향후 텍스트‑투‑3D 품질 향상, 더 정교한 물리 파라미터 추정, 그리고 멀티‑에이전트 협업 전략의 확장이 기대된다.