SpinBench 시점·회전 기반 시각언어모델 공간 추론 진단 벤치마크

초록

SpinBench는 시점 변환을 중심으로 회전·이동·관계 정립 등 7개의 세분화된 과제로 VLM의 공간 추론 능력을 정밀하게 평가한다. 43개 최신 모델을 시험한 결과, 인간 수준(91.2%)에 비해 egocentric 편향, 회전 이해 부족, 대칭·구문 변형에 대한 일관성 결여가 드러났다. 스케일링 분석에서는 파라미터 증가에 따라 점진적 향상이 보이지만, 특정 과제에서는 급격한 능력 발현이 관찰되었다. 인간 반응 시간과 VLM 정확도 사이의 높은 상관관계는 SpinBench가 인간과 모델 모두가 겪는 공간 인지 난제를 포착함을 시사한다.

상세 분석

SpinBench는 인지과학에서 영감을 얻은 “시점 전환(perspective taking)”이라는 핵심 능력을 진단 목표로 삼는다. 이를 위해 저자들은 7개의 계층적 과제군을 설계했으며, 각각은 단일 객체 인식부터 다중 객체 복잡 장면까지 점진적으로 난이도를 높인다. 첫 번째 단계인 Identity Matching은 서로 다른 시점에서 동일 객체를 일관되게 식별할 수 있는지를 평가한다. 이는 객체 검출·재식별 능력과 직접 연결되며, VLM이 시각적 피처를 유지하면서 언어적 묘사를 연결하는 기본 전제다.

두 번째 단계인 Object‑Relation Grounding은 정적 이미지 내에서 좌·우, 앞·뒤, 거리 관계를 정확히 파악하도록 요구한다. 여기서는 프레임‑오브‑레퍼런스(FoR)를 명시적으로 제시해 언어적 모호성을 최소화한다. 이 과제는 공간 관계를 언어로 매핑하는 능력을 독립적으로 측정한다.

Dynamic Translation과 Dynamic Rotation은 각각 선형 이동과 제자리 회전을 다룬다. 두 이미지 사이의 변화를 관찰해 방향을 판단하도록 함으로써, 시각적 모션 추론과 변환 시뮬레이션 능력을 분리한다. 특히 회전 과제는 top‑down 기준의 시계·반시계 방향을 명시해, VLM이 2D 이미지에서 3D 회전 개념을 내재화했는지 검증한다.

Canonical View Selection과 Mental Rotation은 “정규 시점 매핑”과 “내부 이미지 회전 시뮬레이션”을 테스트한다. 전자는 주어진 정면(view)에서 좌·우·뒤 시점을 선택하도록 하여, 모델이 시점 간 변환 관계를 기억·재구성하는지를 평가한다. 후자는 지정된 각도(예: 135°)와 방향에 따라 회전된 결과 이미지를 선택하게 함으로써, 모델이 실제로 공간적 이미지 변환을 ‘상상’할 수 있는지를 탐색한다.

가장 복합적인 Perspect ive Taking 단계는 두 서브태스크(S와 T)로 구성된다. S는 새로운 시점에서 올바른 장면 이미지를 고르는 것이고, T는 시점 변환에 따라 객체 관계가 어떻게 변하는지를 예측한다. 여기서는 앞선 모든 하위 능력이 통합되어야 하며, 다중 객체, 부분 가림, 대칭 변형 등 현실적인 복잡성을 포함한다.

데이터 측면에서 SpinBench는 Infinigen 기반 합성 씬, 가정용 물체, 자동차, 인간 얼굴 등 네 가지 도메인을 혼합해 2.7k 샘플을 제공한다. 각 샘플은 프레임‑오브‑레퍼런스, 전제 구조, 대칭·구문 변형을 조절한 버전을 포함해, 모델이 언어적 힌트에 과도 의존하지 않도록 설계되었다.

평가 결과 43개 VLM(오픈소스·상용 포함)에서 전반적인 egocentric 편향이 두드러졌다. 회전 과제에서 대부분의 모델은 60% 이하의 정확도를 보였으며, 대칭 변형(좌↔우, 앞↔뒤)에서는 정답률이 10% 내외로 급락했다. 스케일링 분석은 파라미터 수와 데이터 양이 증가할수록 전반적인 성능이 완만히 상승하지만, 회전·시점 변환과 같은 고차원 과제에서는 ‘임계점’ 이후 급격히 성능이 향상되는 현상을 보였다. 이는 모델이 일정 규모 이상에서 내부 3D 구조를 학습하기 시작함을 의미한다.

인간 실험에서는 평균 정확도 91.2%와 함께 과제별 평균 반응 시간이 VLM 정확도와 높은 상관(r≈0.78)을 나타냈다. 즉, 인간이 더 오래 고민할수록 VLM도 낮은 성능을 보였으며, SpinBench가 인간과 모델 모두에게 동일한 인지적 난이도를 제공함을 뒷받침한다.

전반적으로 SpinBench는 기존 CLEVR·MindCube 등과 달리 시점·회전이라는 핵심 인지 메커니즘을 정밀하게 분리·조합함으로써, VLM의 공간 추론 능력을 다층적으로 진단한다. 결과는 현재 VLM이 언어‑시각 연관성에 크게 의존하고, 실제 3D 변환을 내재화하는 데 한계가 있음을 명확히 보여준다. 향후 연구는 명시적 3D 표현(예: NeRF, voxel)과 멀티모달 시뮬레이션을 결합해 회전·시점 이해를 강화하는 방향으로 진행될 필요가 있다.