시각 언어 모델의 공간 인덱싱을 통한 시각적 바인딩 메커니즘

초록

본 논문은 최신 비전‑언어 모델(VLM)들이 이미지 내 객체들의 색·형태 등 특징을 올바르게 결합(바인딩)하기 위해, 내용에 무관한 공간 인덱스(‘포지션 ID’)를 활용한다는 사실을 밝혀낸다. 저자들은 세 단계(ID 회수, ID 선택, 특징 회수)로 구성된 주의 헤드 집합을 규명하고, 대표성 분석·인과 매개 분석·인터벤션 실험을 통해 이 메커니즘이 실제 바인딩 성공에 핵심임을 입증한다. 또한 바인딩 오류가 발생할 때는 주로 ID 회수 단계에서의 실패와 연결된다는 점을 제시한다.

상세 분석

이 연구는 ‘바인딩 문제’를 시각적 맥락에서 정의하고, 텍스트 전용 언어 모델에서 발견된 ‘binding IDs’와 유사한, 그러나 공간적 특성을 갖는 ‘포지션 ID’를 VLM에 도입한다는 가설을 세운다. 실험은 Qwen2‑VL을 비롯한 7개 모델에 대해 ‘장면 설명’ 과제를 사용했으며, 여기서는 이미지에 여러 객체가 존재하고 프롬프트에 일부 객체만 기술된 상황에서 누락된 객체를 정확히 명시해야 한다. 성공적인 수행을 위해서는 (1) 이미지 토큰에서 객체별 특징을 추출하고, (2) 프롬프트에 언급된 객체와 이미지 내 위치를 매핑해 포지션 ID를 회수하며, (3) 이미 회수된 ID들을 기반으로 목표 객체의 ID를 선택하고, (4) 선택된 ID를 인덱스로 삼아 해당 객체의 색·형태 특징을 회수해야 한다.

저자들은 먼저 PCA와 RSA를 통해 레이어별 표현이 ‘위치’와 ‘특징’ 사이를 전이한다는 현상을 시각화한다. 레이어 14‑17에서는 프롬프트 토큰에 대한 위치 정보가 강하게 나타나며, 이는 ID 회수 단계에 해당한다. 레이어 18‑21에서는 목표 객체의 포지션 ID가 강조되고, 레이어 23‑26에서는 실제 색·형태 특징이 분리되어 나타난다. 이러한 흐름은 ‘포지션 ID → 선택 → 특징 회수’라는 3단계 아키텍처와 일치한다.

인과 매개 분석(CMA)에서는 특정 헤드의 출력을 다른 컨텍스트에서 패치함으로써 모델 출력에 미치는 영향을 정량화한다. 세 가지 조건(① ID 회수, ② ID 선택, ③ 특징 회수) 각각에 대해 50개의 샘플을 사용했으며, 높은 CMA 점수를 보인 헤드들을 각각 ‘ID Retrieval Heads’, ‘ID Selection Heads’, ‘Feature Retrieval Heads’로 명명한다. 이 헤드들은 모두 주의 메커니즘에 속하며, 서로 다른 레이어와 토큰 위치에 집중적으로 분포한다.

인터벤션 실험에서는 포지션 ID 회수 단계에서 의도적으로 위치를 교환하거나 노이즈를 삽입했을 때, 모델이 색·형태를 혼동해 바인딩 오류를 일으키는 것을 확인했다. 반면 ID 선택이나 특징 회수 단계에 작은 교란을 가해도 오류 발생률이 크게 증가하지 않았다. 이는 바인딩 실패의 주요 원인이 ‘ID 회수’ 단계의 불안정성에 있음을 강력히 시사한다.

또한, 저자들은 포지션 ID가 단순히 좌표 정보를 넘어서, 다양한 과제(예: 사진실감 이미지, 복합 관계 추론)에서도 재사용된다는 점을 실험적으로 입증한다. 이는 VLM이 학습 과정에서 공간 인덱스를 일종의 ‘심볼 변수’로 내재화하고, 이를 통해 고차원 시각 정보를 효율적으로 조작한다는 의미다.

마지막으로, 이 메커니즘을 인간의 시각 인덱싱 이론(Visual Indexing Theory)과 뇌의 공간·특징 분리 처리와 연결 지으며, 인지과학·신경과학적 관점에서도 의미 있는 연관성을 제시한다. 연구 결과는 VLM 설계 시 공간 인덱스의 명시적 강화(예: 별도 위치 임베딩, 인덱스 정규화)나, ID 회수 단계의 안정성을 높이는 훈련 전략(예: 위치 교란 대비 학습) 등이 바인딩 성능 향상에 직접적인 영향을 줄 수 있음을 암시한다.