입자에서 에이전트로: 환각을 인지 마찰 지표로 활용한 공간 시뮬레이션

초록

본 논문은 전통적인 물리 기반 건축 시뮬레이션을 인지적 에이전트 모델로 전환하고, 대형 멀티모달 생성 모델의 ‘환각’ 현상을 인지 마찰(Cognitive Friction) 지표로 정량화한다. 에피소드 기반 공간 추론과 ‘Phantom Affordance’를 탐지하는 방법을 제시하며, 윤리적 설계 원칙을 통해 인간 자율성과 인지 투명성을 보장하는 새로운 HCI 패러다임을 제안한다.

상세 분석

이 논문은 기존 CFD·군중 흐름·구조 해석 등에서 물리적 입자를 시뮬레이션 단위로 삼는 한계를 짚고, 이를 “에이전시 환경 시뮬레이션”(Agentic Environmental Simulation)으로 대체한다는 근본적 전환을 제시한다. 핵심 아이디어는 대형 멀티모달 생성 모델(Large Multimodal Generative Model, LM²G)이 공간에 대한 의미적 기대값을 예측하고, 그 예측과 실제 물리적 상태 간의 차이를 ‘환각‑현실 격차’(Hallucination‑Reality Gap)로 측정한다.

논문은 두 단계 시스템을 도입한다. 시스템 1은 저비용 물리 기반 ‘Heuristic Autopilot’으로 일상적인 이동을 처리하고, 시스템 2는 고비용 LLM·VLM 모듈을 ‘Episodic Spatial Reasoning’ 단계에서만 활성화한다. 이때 ‘surprisal’(예측 오차) 가 사전 정의된 임계값 τ를 초과하면 시스템 2가 작동하여 현재 위치·시점에 대한 기대(E_gen)를 생성한다. 기대와 실제(R_phys) 사이의 코사인 유사도(sim)를 이용해 인지 마찰 C_f = 1 – sim 으로 정의한다. 높은 C_f 값은 환경이 제공하는 시그널이 사용자의 인지적 기대와 크게 어긋나 ‘Phantom Affordance’를 만든다는 의미이다.

‘환각’을 단순 오류가 아니라 설계 힌트로 재해석함으로써, 설계자는 물리적 오류를 수정하기보다 환경의 시각·조명·투명도 등 시그널을 조정해 인지 마찰을 최소화하도록 설계한다. 이는 기존 ‘정밀도 중심’ 검증 패러다임을 ‘의미 적합성’ 중심으로 전환한다는 점에서 혁신적이다.

윤리적 논의에서는 인지 마찰을 활용한 ‘nudging’ 위험성을 경고하고, 투명성, 옵트‑아웃, 인구통계적 형평성, 감사 추적 등 네 가지 설계 원칙을 제시한다. 또한 현재 연구가 서구 중심의 공간 시맨틱에 의존하고, VLM 아키텍처 변화에 민감하며, 실시간 적용 시 계산 비용이 높다는 제한점을 솔직히 인정한다. 향후 문화적 다양성을 반영한 데이터셋 구축과 인간 행동 데이터와의 실증 검증이 필요함을 강조한다.

전반적으로 이 논문은 물리‑인지 융합 시뮬레이션의 이론적 틀을 제공하고, ‘환각’이라는 AI 특성을 설계 도구로 전환함으로써 건축·도시 설계에 새로운 진단·생성 메커니즘을 도입한다는 점에서 학제간 연구에 큰 기여를 한다.