구조 속 공간 지능 평가 제한된 다양체 추론 벤치마크

초록

SSI‑Bench는 실제 엔지니어링 구조물의 이미지와 3‑D 제약을 활용해, 모델이 정신 회전·단면 추론·가림·힘 전달 경로 등을 수행하도록 설계된 1,000개의 순위형 VQA 질문 모음이다. 31개 VLM을 평가한 결과, 최고 오픈소스 모델은 22.2 %, 최고 폐쇄형 모델은 33.6 %의 정확도를 보였으며, 인간은 91.6 %를 기록해 큰 격차를 드러낸다.

상세 분석

본 논문은 기존 공간 지능 벤치마크가 2‑D 상관관계에 의존하는 한계를 지적하고, “제한된 다양체 공간 추론”(Constrained‑Manifold Spatial Reasoning, CMSR)이라는 새로운 평가 패러다임을 제시한다. CMSR은 구조물의 기하·위상·물리적 제약이 잠재 3‑D 상태를 좁은 가능 영역(다양체)으로 제한한다는 전제하에, 모델이 이 제약을 만족하는 3‑D 구성을 복원하고 그 위에서 관계를 판단하도록 요구한다.

SSI‑Bench는 이러한 아이디어를 실현하기 위해 다음과 같은 설계 원칙을 적용했다. 첫째, 실제 건축·교량·파이프라인·목재 트러스 등 다양한 엔지니어링 구조를 20 000여 장 중 2 000여 장을 선별하고, 각 이미지에 대해 노드·멤버·연결 그래프와 기하 속성을 인간이 직접 주석했다. 둘째, 질문은 “Ground Height”, “Ground Angle”, “Dimension”, “Relative Distance”, “Area”, “Volume” 등 기하학적 판단과, “Hop Distance”, “Cycle Length” 등 위상적 판단을 포함하는 10가지 카테고리로 구성했으며, 3~4개의 후보를 제시하고 올바른 순서를 선택하도록 설계했다. 셋째, 다중 뷰(subset)에서는 두 시점을 제공해 후보 간 교차‑뷰 일치를 요구함으로써 단순 2‑D 힌트를 차단한다.

실험에서는 31개의 최신 VLM(10개 폐쇄형, 21개 오픈소스)을 동일한 프롬프트와 이미지 입력으로 평가했으며, “Think” 프롬프트(사고 유도) 적용에도 성능 향상이 미미했다. 오류 분석 결과는 크게 두 가지 실패 모드로 귀결된다. (1) 구조적 grounding 부족: 모델이 이미지 내 멤버를 정확히 식별하지 못해 그래프를 재구성하지 못한다. (2) 제약 일관성 위반: 복원된 3‑D 상태가 물리·기하 제약을 위배해 잘못된 순위 판단을 만든다. 특히, 정신 회전이나 힘‑경로 추론과 같이 복합 연산이 필요한 질문에서 정확도가 급격히 떨어졌다.

이 논문은 제한된 다양체라는 강력한 제약을 활용해 VLM의 3‑D 공간 추론 능력을 정밀하게 측정할 수 있음을 입증한다. 향후 연구는 (a) 구조적 grounding을 강화하기 위한 멀티‑모달 사전학습, (b) 제약 기반 3‑D 복원 모듈을 VLM에 통합, (c) 더 다양한 물리·재료 제약을 포함한 확장형 벤치마크 설계 등으로 이어질 수 있다.