압축이 지능을 말한다: 시각 코딩·시각 토큰 기술의 통합적 고찰

초록

본 논문은 전통적인 시각 코딩과 최신 멀티모달 대형 모델에서 사용되는 시각 토큰 기술을 비교·통합하여, 압축 효율이 모델 지능과 어떻게 연관되는지를 탐구한다. 두 분야의 공통 목표인 “정보 충실도와 계산 비용의 최적 균형”을 수학적 최적화 프레임워크로 정리하고, 향후 차세대 코덱·토큰 설계 방향을 제시한다.

상세 분석

논문은 먼저 시각 코딩과 시각 토큰 기술을 각각의 역사적 배경과 핵심 원리를 정리한다. 전통적인 시각 코딩은 변환(예: DCT, DWT), 양자화, 엔트로피 코딩이라는 3단계 파이프라인을 기반으로 JPEG, HEVC, VVC 등 국제 표준을 구축해 왔으며, 목표는 픽셀 수준의 재현 품질을 최대한 유지하면서 비트레이트를 최소화하는 것이다. 최근 신경코덱은 자동인코더와 학습된 엔트로피 모델을 도입해 손실 함수에 PSNR·MS‑SSIM을 직접 최적화함으로써 기존 표준을 능가하는 레이트‑디스토션(R‑D) 성능을 보인다.

시각 토큰 기술은 멀티모달 LLM/MLLM에서 이미지·비디오를 텍스트와 동일한 시퀀스 형태로 변환하는 과정을 말한다. 여기서는 연속형 토큰(패치 임베딩)과 이산형 토큰(VQ‑VAE, VQ‑GAN 등)으로 구분되며, 토큰 압축 단계에서는 어텐션 기반 선택, 유사도 기반 클러스터링, 강화학습 기반 토큰 정제 등이 적용된다. 목표는 픽셀 재현이 아니라 downstream task(예: VQA, 이미지 캡션, 로봇 인식)의 의미 정보 보존이며, 따라서 압축 효율은 “정보량 대비 계산 비용”이라는 새로운 차원에서 평가된다.

핵심 통합 프레임워크는 정보이론의 샤논 엔트로피와 의미 엔트로피(semantic entropy)를 동일한 라그랑주식에 포함시켜, R‑D 트레이드오프를 R‑A(레이트‑정확도) 트레이드오프와 연결한다. 이때 정보 병목은 변환 단계에서의 차원 축소, 양자화 단계에서의 비트 할당, 그리고 토큰 압축 단계에서의 선택적 샘플링으로 모델링된다. 논문은 실험적으로 비전 토큰을 task‑oriented하게 설계하면 동일 비트예산에서 기존 코덱 대비 10‑15% 이상의 downstream 정확도 향상을 달성한다는 결과를 제시한다.

또한, 미래 전망으로는 “통합 코덱·토큰 표준”(예: MPEG VCM, JPEG AI) 구축이 가능하다고 주장한다. 이는 하나의 비트스트림이 인간 시청용 고품질 영상과 AI 모델용 의미 토큰을 동시에 제공하도록 설계될 수 있음을 의미한다. 이러한 표준화는 멀티모달 LLM, AI‑Generated Content, 임베디드 로봇 등 다양한 응용 분야에서 데이터 전송·저장 비용을 크게 절감하면서도 지능적 처리 성능을 높이는 기반이 될 것이다.