멀티모달 추론을 위한 시각 토큰 포인팅 기법 v1

초록

본 논문은 이미지 정보를 한 번만 인코딩하고 텍스트만으로 추론하는 기존 멀티모달 언어 모델의 한계를 지적하고, “포인팅‑앤‑복사” 메커니즘을 도입한 v1 모델을 제안한다. v1은 생성 과정에서 이미지 패치를 선택해 해당 임베딩을 직접 복사해 입력 스트림에 삽입함으로써, 긴 추론 단계에서도 시각적 근거를 지속적으로 재활용한다. 이를 위해 30만 개의 시각‑텍스트 연계 추론 트레이스가 포함된 v1g 데이터셋을 구축했으며, 수학적 문제 해결 벤치마크에서 기존 모델을 크게 앞섰다.

상세 분석

v1 논문은 멀티모달 대형 언어 모델(MLLM)이 이미지 정보를 한 번만 키‑밸류 캐시로 저장하고, 이후 텍스트 토큰만을 이용해 추론한다는 근본적인 설계 결함을 실험적으로 입증한다. 특히, 긴 체인‑오브‑생각(Chain‑of‑Thought) 과정에서 이미지 토큰에 대한 어텐션이 점진적으로 감소하고, 중요한 영역에 대한 상대적 집중도 약화되는 ‘시각적 그라운딩 디케이(visual grounding decay)’ 현상을 RefCOCO 실험을 통해 정량화하였다.

이 문제를 해결하기 위해 제안된 v1은 두 가지 핵심 요소를 가진다. 첫째, 기존 MLLM의 출력 공간에 “포인터 토큰”을 추가해 이미지 패치 위치를 직접 선택하도록 한다. 모델은 디코더 히든 상태를 이미지 임베딩에 투사한 후, 점곱 어텐션을 통해 각 패치에 대한 로짓을 계산한다. 둘째, 선택된 패치의 임베딩을 바로 다음 디코딩 단계의 입력으로 복사(copy)함으로써, 텍스트와 시각 정보를 동일한 시퀀스 흐름 안에서 순환시킨다. 이때 별도의 게이팅 파라미터 λ를 사용하지 않고, vocab와 이미지 포인터를 서로 겹치지 않는 공간으로 정의해 로그잇을 단순히 연결(concatenation)한다는 설계는 구현 복잡성을 크게 낮춘다.

학습 데이터인 v1g는 300 K개의 멀티모달 수학 문제 해결 트레이스를 자동 생성한다. 파이프라인은 (1) 기존 TVC 모델이 만든 텍스트‑중심 추론 경로를 과다 샘플링, (2) Gemini‑2.0‑flash와 같은 강력한 LLM을 이용해 각 텍스트 단계에서 시각적 질의를 추출하고 “detect” 호출 형태로 변환, (3) 질의 결과를 이미지 바운딩 박스와 매핑해 구체적인 시각 근거를 부여한다. 이렇게 얻어진 고품질 시각‑텍스트 정렬 라벨은 포인팅‑앤‑복사 메커니즘을 지도학습할 수 있게 한다.

실험에서는 MathVista, MathVision, MathVerse 등 세 가지 멀티모달 수학 벤치마크에서 v1이 동일 규모의 기존 모델을 일관되게 앞섰으며, 특히 복잡한 도형 문제에서 큰 격차를 보였다. 이는 모델이 필요할 때마다 해당 영역을 재참조함으로써 “시각적 근거 손실”을 방지하고, 긴 추론 단계에서도 정확한 시각‑텍스트 연계를 유지한다는 것을 의미한다. 또한, 추가 파라미터가 경량 선형 헤드 수준에 불과해 계산 비용이 미미하다는 점도 실용성을 높인다.

전체적으로 v1은 포인터‑제너레이터 개념을 연속적인 이미지 임베딩에 확장함으로써, 멀티모달 추론에서 시각적 재접근을 가능하게 하는 혁신적인 설계이다. 향후 더 복잡한 비전‑언어 작업이나 도구 사용 파이프라인에 적용될 여지가 크며, v1g 데이터셋 자체도 시각‑텍스트 정렬 연구에 귀중한 자원으로 활용될 수 있다.