대규모 현실감 있는 가정 데이터 합성 생성 프레임워크

초록

본 논문은 인간 페르소나와 가정 환경 사이의 양방향 영향을 모델링하여, 자연어 프롬프트 기반으로 3D 정적·동적 컨텍스트를 동시에 생성하는 시스템을 제안한다. 환경 스키마 생성, 인간·로봇 행동 생성, 그리고 양방향 영향 제어기의 세 모듈이 반복적으로 교류함으로써 통계적으로 실제 데이터와 높은 유사성을 보이며, 대규모 데이터셋 생성에 대한 확장성을 입증한다.

상세 분석

이 연구는 기존의 실내 환경 합성 및 인간 행동 합성 방법이 각각 독립적으로 작동한다는 근본적인 한계를 극복하고자, ‘양방향 결합(bidirectional coupling)’이라는 새로운 패러다임을 도입한다. 구체적으로 프레임워크는 네 개의 핵심 모듈로 구성된다. 첫 번째인 환경 스키마 생성기(Environment Schematic Generator)는 페르소나의 인구통계·생활양식 정보를 입력받아, 객체 종류·배치·방 구조 등을 의미론적으로 일관된 3D 레이아웃으로 출력한다. 두 번째인 인간·로봇 행동 생성기(Human Activity and HRI Generator)는 생성된 환경의 어피어런스와 제약을 활용해, 일일·주간 수준의 행동 시퀀스와 로봇과의 대화·상호작용을 시간적 연속성을 유지하면서 합성한다. 세 번째인 양방향 영향 제어기(Bidirectional Influence Controller)는 두 생성기 사이에 정보를 순환시켜, 예를 들어 ‘세탁 작업’이 생성되면 환경 모듈에 세탁 바구니·세탁기 배치를 요구하고, 반대로 ‘게임 콘솔’이 환경에 배치되면 행동 모듈에 게임 플레이 활동을 삽입한다. 마지막으로 범용 시뮬레이터 어댑터(Universal Simulator Adapter)는 중간 표현을 다양한 로봇 시뮬레이터(예: Habitat, Isaac Gym) 형식으로 변환해 플랫폼 독립성을 확보한다.

양방향 루프는 사전 정의된 수렴 기준(새로운 활동이 더 이상 환경을 변화시키지 않음, 환경 변형이 더 이상 행동을 촉발하지 않음)까지 반복되며, 이 과정에서 ‘컨텍스트 메모리’가 지속적으로 업데이트되어 LLM의 환각(hallucination) 현상을 크게 감소시킨다. 또한 온도·top‑p·top‑k와 같은 LLM 파라미터 조절과 Holodeck 기반 자산 선택 알고리즘을 결합해 데이터 다양성을 확보하면서도 모드 붕괴(mode collapse)를 방지한다.

평가에서는 멀티모달 임베딩을 이용한 코사인 유사도, 상호 정보(Mutual Information) 증가, 개입 분석(intervention analysis), 반복 개선 검증(iterative improvement validation) 네 가지 메트릭을 사용한다. 실제 가정 데이터셋인 HOMER와 비교했을 때 코사인 유사도 0.60을 기록했으며, 기존 합성 데이터(Wang et al.)와는 0.27에 그쳐 양방향 결합이 데이터 품질을 크게 향상시킴을 입증한다. 연령·정돈 수준·수면 패턴 등 페르소나 변수를 조작한 개입 실험에서는 p < 0.001, Cohen’s d = 0.51–1.12의 큰 효과 크기를 보여, 페르소나 특성이 환경·행동 양쪽에 의미 있게 반영됨을 확인한다.

한계점으로는 현재 LLM에 의존하는 텍스트‑투‑3D 파이프라인이 복잡한 물리적 제약(예: 구조적 안정성)이나 고해상도 텍스처를 완벽히 재현하지 못한다는 점, 그리고 시뮬레이션‑투‑실제(Sim2Real) 검증이 제한된 환경에서만 수행되었다는 점을 들 수 있다. 향후 연구에서는 물리 엔진과의 tighter integration, 더 정교한 행동 플래너, 그리고 실제 로봇 배치를 통한 대규모 실증 실험을 통해 프레임워크의 일반화 능력을 강화할 필요가 있다.