이미지를 텍스트처럼 읽는다 순차적 이미지 이해의 비밀

초록

본 논문은 인간의 시각 처리 방식을 모방해 비전‑언어 모델(VLM)의 시각 인코더를 “무엇을 보는가”(what)와 “어디에 있는가”(where) 두 흐름으로 분리해 분석한다. 객체 인식에서는 토큰 맵을 이용해 얕은 층에서 속성(색, 질감) 인식이, 깊은 층에서 의미적 구분이 이루어지는 2단계 과정을 밝혀냈으며, 공간 인식에서는 2D RoPE가 구현하는 기하학적 구조를 이론적으로 도출하고 실험적으로 검증하였다. 이를 바탕으로 시각 디코더 기반 토큰 압축과 RoPE 스케일링 기법을 제안해 디코딩 효율과 공간 추론 능력을 동시에 향상시켰다.

상세 분석

본 연구는 최신 VLM이 이미지 입력을 1차원 토큰 시퀀스로 직렬화하는 구조적 한계를 인간의 병렬 시각 처리와 대비시키며 시작한다. 저자들은 인간의 두 흐름 가설(ventral ‘what’, dorsal ‘where’)을 차용해 VLM의 비전 인코더를 두 개의 독립적인 서브시스템으로 해석한다.

첫 번째 서브시스템인 객체 인식(what)에서는 이미지 패치를 텍스트 토큰 맵으로 변환한 뒤, 각 비전 트랜스포머(ViT) 층에 로그리트 렌즈(logit lens)를 적용한다. 로그리트 렌즈는 시각 토큰의 활성값에 언어 모델의 디코딩 행렬을 곧바로 곱해 가장 가능성 높은 텍스트 토큰을 추출한다. 이를 통해 층별 토큰 맵을 시각화하고, 토큰이 ‘공백·구두점’ 등 의미 없는 토큰에서 시작해 점차 ‘색’, ‘질감’ 같은 속성 단어, 마지막에 ‘곰’, ‘바위’와 같은 객체 라벨로 전이하는 과정을 관찰한다. 정량적으로는 속성 단어 비율(r_A)과 대표 단어 비율(r_R)을 정의해 5~15층 사이에서 r_A가 최고점에 도달하고 이후 r_R이 급증함을 확인했다. 이는 얕은 층에서 로컬 피처를 감지하고, 깊은 층에서 어텐션을 통해 전역 의미를 재구성하는 2단계 프로세스로 해석된다. 이러한 단계적 전이는 인간의 게슈탈트 원리와도 일맥상통한다.

두 번째 서브시스템인 공간 인식(where)에서는 기존 VLM이 사용하던 1D 절대 위치 임베딩과 2D Rotary Position Embedding(RoPE)을 비교한다. 저자들은 2D RoPE가 각 패치의 (x, y) 좌표를 회전 행렬에 매핑해 쿼리·키 사이의 내적에 상대적 거리 (m‑n) θ를 삽입함을 수식적으로 증명한다. 실험적으로는 RoPE가 생성하는 위치 벡터가 2차원 평면에서 원형 혹은 나선형 구조를 형성한다는 것을 시각화했으며, 이는 모델이 거리와 방향 정보를 연속적인 형태로 보존함을 의미한다. 그러나 고해상도 이미지에서는 RoPE의 각도 θ가 작아져 위치 구분력이 약해지는 문제를 발견한다.

이러한 분석을 토대로 두 가지 실용적 개선책을 제시한다. 첫째, 시각 디코더를 사전 학습해 시각 임베딩을 텍스트 토큰 로그리트에 매핑한 뒤, 동일하거나 유사한 토큰을 런‑길이 인코딩(run‑length encoding)으로 압축한다. 이 ‘instruction‑agnostic token compression’은 프리‑필링 단계에서 시퀀스 길이를 평균 30 % 감소시키면서도 성능 저하를 최소화한다. 둘째, RoPE 스케일링 기법은 저주파 영역(작은 θ)에서 회전 각을 인위적으로 확대해 위치 표현의 분해능을 높인다. 실험 결과, 스케일링은 훈련 없이도 공간 관계 추론(예: “왼쪽에 있는 물체”)에서 정확도를 4~6 % 상승시켰으며, 파인튜닝 시에도 전반적인 이미지‑텍스트 정합 성능을 향상시켰다.

전체적으로 본 논문은 VLM 내부 메커니즘을 인간 시각 체계와 연결 지어 해석함으로써, 모델 설계 시 ‘what’과 ‘where’ 흐름을 명시적으로 고려해야 함을 강조한다. 특히, 층별 토큰 맵 분석과 RoPE 기하학적 해석은 향후 VLM이 보다 효율적이고 해석 가능한 구조로 진화하는 데 중요한 이론적 토대를 제공한다.