시각‑언어 대형 모델을 위한 위치 보존 임베딩

초록

본 논문은 시각 토큰 압축 과정에서 공간·시간 정보를 손실하지 않도록 설계된 파라미터‑프리 Positional Preservation Embedding(PPE)를 제안한다. PPE는 3차원 위치 ID를 차원별로 분할하여 하나의 압축 토큰에 다중 위치 정보를 담게 함으로써, 기존 토큰 병합 기법이 초래하는 레이아웃 왜곡과 시간 연속성 손실을 방지한다. 또한, PPE는 다단계(캐스케이드) 압축과 자연스럽게 결합되어 높은 압축률에서도 성능 저하를 최소화한다. 다양한 이미지·비디오 벤치마크(MMBench, TextVQA, VideoMME)에서 기존 방법 대비 2~5%의 정확도 향상을 기록했으며, 코드가 공개되어 재현이 용이하다.

상세 분석

PPE는 기존 시각 토큰 병합 기법이 갖는 근본적인 한계, 즉 위치 정보를 단일 ID로 축소하면서 발생하는 공간·시간 구조 파괴를 근본적으로 해결한다. 핵심 아이디어는 RoPE·MRoPE와 같은 회전 기반 위치 인코딩이 차원별로 독립적으로 적용될 수 있다는 점을 활용해, 압축된 토큰에 K개의 서로 다른 위치 ID를 동시에 할당하는 것이다. 여기서 K는 임베딩 차원 D에 대한 약수로 설정되어 차원을 균등하게 K개의 그룹으로 나누며, 각 그룹은 원본 토큰들의 위치 정보를 보존한다. 클러스터링 단계에서는 토큰 간 유사도 기반으로 그룹을 형성하고, 클러스터 중심에 가장 가까운 K개의 토큰을 선택해 그들의 위치 ID를 상위 K 슬롯에 채워 넣는다. 클러스터 크기가 K보다 작을 경우에는 높은 가중치를 가진 토큰을 복제해 슬롯을 채워, 항상 K개의 위치 정보를 유지한다.

이러한 다중 위치 보존 메커니즘은 두 가지 중요한 효과를 만든다. 첫째, 압축 후에도 시각 입력의 미세한 레이아웃(예: 객체 간 상대 위치, 프레임 간 시간 순서)이 유지되어 레이아웃 민감 작업(텍스트 기반 VQA, 비디오 타임라인 추론 등)에서 성능 저하를 방지한다. 둘째, PPE는 파라미터가 전혀 없으며 기존 토큰 병합 파이프라인에 플러그인 형태로 삽입할 수 있기 때문에 연산 오버헤드가 거의 없다.

또한 논문은 캐스케이드 압축과의 시너지를 강조한다. 깊은 트랜스포머 레이어일수록 표현이 추상화되어 토큰 간 중복도가 높아지므로, 여러 레이어에 걸쳐 단계적으로 압축을 수행하면 전체 토큰 수를 90% 이상 감소시키면서도 중요한 저수준 정보를 초기에 보존할 수 있다. 각 단계마다 PPE가 적용되면 이전 단계에서 남겨진 다중 위치 ID가 점진적으로 감소하지만, 핵심 위치 정보는 계속해서 전달된다. 실험 결과는 캐스케이드 압축이 단일 단계 압축에 비해 ID 보존율과 최종 정확도 모두에서 우수함을 입증한다.

한계점으로는 K값 선택이 임베딩 차원에 의존한다는 점이다. D가 작거나 K가 과도하게 크게 설정되면 차원당 할당되는 위치 정보가 희박해져 회전 인코딩의 효과가 감소할 수 있다. 또한, 현재 구현은 주로 클러스터 중심 기반 평균 합성 방식을 사용하고 있어, 토큰 간 비선형 관계를 완전히 포착하지 못할 가능성이 있다. 향후 연구에서는 학습 가능한 가중치 기반 토큰 합성이나, 동적 K 조정 메커니즘을 도입해 이러한 제약을 완화할 여지가 있다.

전반적으로 PPE는 시각 토큰 압축 시 위치 정보를 구조적으로 보존하는 새로운 패러다임을 제시하며, 파라미터 프리 설계와 높은 호환성 덕분에 기존 MLLM 파이프라인에 손쉽게 적용할 수 있다.