동적 표현 최적화로 풀어내는 비전‑언어 모델의 모달 비대칭 문제
📝 원문 정보
- Title:
- ArXiv ID: 2512.18504
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
비전‑언어 모델(VLM)은 개방형 환경에서 외부 분포(OOD) 개념이 등장할 경우, 교차 모달 정렬이 붕괴되어 제로샷 성능이 크게 저하되는 문제에 직면한다. 우리는 이 현상의 근본 원인을 ‘모달 비대칭’으로 규정한다. 시각 인코더는 보지 못한 이미지에서도 구별 가능한 특징을 추출할 수 있지만, 텍스트 인코더는 고정된 이산 어휘에 얽매여 새로운 의미적 앵커를 생성하지 못한다. 기존의 CoOp, LoRA와 같은 방법은 사전 학습된 의미 공간에 머무르기 때문에 부분적인 완화만 제공한다. 이러한 병목을 해소하기 위해 우리는 ‘동적 표현 최적화’를 구현한 Guided Target‑Matching Adaptation(GTMA) 프레임워크를 제안한다. 추론 단계에서 GTMA는 OOD 이미지의 시각적 앵커와 최적 정렬되는 연속적인 가짜 단어 임베딩을 생성함으로써 어휘 제한을 회피한다. 최적화는 의미적 규제를 통합해 모델의 사전 지식과 호환성을 유지하도록 설계된 Adaptive Gradient‑based Representation Policy Optimization(GRPO) 알고리즘에 의해 수행된다. ImageNet‑R 및 자체 구축한 VISTA‑Beyond 벤치마크 실험에서 GTMA는 기본 VLM 대비 OOD 제로/소수 샷 정확도를 15‑20% 향상시키면서 기존 개념에 대한 성능은 유지한다. Ablation 연구를 통해 가짜 단어 최적화의 필요성이 입증된다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 현재 비전‑언어 모델(VLM)이 실제 서비스 환경에서 마주치는 가장 심각한 한계 중 하나인 ‘모달 비대칭’ 문제를 체계적으로 진단하고, 이를 극복하기 위한 새로운 방법론을 제시한다. 먼저, 시각 인코더와 텍스트 인코더 사이의 구조적 차이를 분석한다. 시각 인코더는 대규모 이미지 데이터로 사전 학습되어, 미지의 이미지라도 고차원 특징을 효과적으로 추출한다. 반면 텍스트 인코더는 사전 정의된 토큰 집합에 의존하기 때문에, 기존 어휘에 포함되지 않은 개념을 표현할 수 없다. 이 불균형은 OOD 상황에서 시각적 신호는 충분히 강력하지만, 텍스트 측면에서 대응되는 의미적 앵커가 부재해 교차 모달 정렬이 붕괴되는 원인으로 작용한다.기존 연구인 CoOp(프롬프트 튜닝)와 LoRA(저차원 적응) 등은 텍스트 프롬프트를 미세 조정하거나 가중치를 저차원으로 업데이트함으로써 어느 정도 성능 회복을 시도했지만, 근본적인 어휘 제한을 해소하지 못한다는 점에서 한계가 있다. 논문은 이러한 한계를 인식하고, ‘동적 표현 최적화’를 핵심 아이디어로 삼는다. 구체적으로는 추론 시점에 OOD 이미지의 시각적 특징과 가장 잘 맞는 연속적인 가짜 단어(pseudo‑word) 임베딩을 생성한다. 이 가짜 단어는 기존 어휘에 얽매이지 않으며, 모델 내부의 임베딩 공간에서 자유롭게 움직일 수 있다.
가짜 단어 생성 과정은 Adaptive Gradient‑based Representation Policy Optimization(GRPO) 알고리즘에 의해 제어된다. GRPO는 두 가지 목표를 동시에 최적화한다. 첫째, 시각적 앵커와 가짜 단어 임베딩 사이의 코사인 유사도를 최대화해 정렬을 강화한다. 둘째, 의미적 규제(term‑regularization)를 도입해 가짜 단어가 지나치게 비현실적인 벡터가 되는 것을 방지하고, 사전 학습된 언어 모델의 분포와 일관성을 유지한다. 이때 규제는 KL‑divergence 기반의 사전 분포와 가짜 단어 임베딩 사이의 거리 제어, 혹은 기존 토큰과의 유사도 제한 등으로 구현될 수 있다.
실험 결과는 매우 설득력 있다. ImageNet‑R과 새롭게 제시한 VISTA‑Beyond 벤치마크에서 GTMA는 기존 VLM 대비 OOD 제로‑샷 및 소수‑샷 정확도를 15‑20% 끌어올렸다. 특히, 기존에 학습된 ‘seen’ 개념에 대한 성능은 거의 변하지 않아, 동적 최적화가 기존 지식을 손상시키지 않음을 확인할 수 있다. Ablation 연구에서는 (1) 가짜 단어 최적화 없이 단순히 기존 프롬프트만 사용하는 경우, (2) 의미 규제 없이 최적화만 수행하는 경우, (3) GRPO 대신 고정 학습률로 최적화하는 경우 등 다양한 변형을 시험했으며, 모두 GTMA의 전체 파이프라인보다 낮은 성능을 보였다. 이는 가짜 단어 생성과 의미 규제, 그리고 적응형 그래디언트 정책이 상호 보완적으로 작용한다는 증거다.
이 논문의 의의는 두 가지로 요약할 수 있다. 첫째, ‘모달 비대칭’이라는 근본적인 문제를 명확히 정의하고, 이를 정량적·정성적으로 입증함으로써 향후 VLM 연구의 새로운 방향성을 제시한다. 둘째, 고정 어휘에 얽매이지 않는 동적 텍스트 표현을 도입함으로써, VLM이 진정한 의미적 일반화를 달성할 수 있는 가능성을 열어준다. 향후 연구에서는 (a) 가짜 단어를 다중 단계로 확장해 복합 개념을 표현, (b) 다른 멀티모달 아키텍처에 GTMA를 적용, (c) 가짜 단어의 해석 가능성을 높이는 방법 등을 탐색할 여지가 많다. 전반적으로 본 논문은 비전‑언어 모델의 실용성을 크게 향상시킬 수 있는 혁신적 접근법이라 평가한다.