스칼셀렉트: 효율적인 시각 지시 튜닝을 위한 확장 가능한 무학습 데이터 선택

초록

ScalSelect는 시각‑언어 모델(VLM)의 첫 번째 LLM 레이어에서 지시 토큰이 가장 많이 주목하는 시각 토큰을 추출해 샘플 표현을 만든 뒤, 전체 데이터셋 표현의 저차원 주된 서브스페이스를 근사하는 샘플을 선형 시간 복잡도로 선택하는 무학습 데이터 선택 기법이다. 16 %의 데이터만 사용해 전체 학습 성능의 97.5 % 이상을 달성하고, 일부 경우에는 전체 데이터 학습을 능가한다.

상세 분석

ScalSelect는 기존 무학습 멀티모달 데이터 선택 방법이 갖는 두 가지 근본적인 한계를 동시에 해결한다. 첫 번째는 “지시‑조건부” 표현 부재이다. 기존 방법은 CLIP 등 외부 인코더로 시각 특징을 추출하거나, 텍스트와 무관하게 모든 시각 토큰을 평균해 샘플을 표현한다. 그러나 시각 지시 튜닝에서는 동일 이미지라도 지시문에 따라 모델이 주목하는 영역이 크게 달라진다. ScalSelect는 목표 VLM의 첫 번째 LLM 트랜스포머 레이어에서 멀티‑헤드 어텐션을 이용해 사용자 지시 토큰이 각 시각 토큰에 부여한 어텐션 가중치를 집계한다. 이때 누적 어텐션이 사전 정의된 임계값 τ(예: 0.9)까지 도달하는 상위 시각 토큰만을 선택해 “Instruction‑Conditioned Early Representation”을 만든다. 이렇게 하면 지시와 직접 연관된 시각 정보만을 압축적으로 보존하면서도, 별도의 프록시 모델이나 추가 학습 없이 목표 VLM 자체의 내부 신호를 활용한다는 장점이 있다.

두 번째는 전역적인 서브스페이스 기반 선택이다. 기존 대부분의 데이터 선택은 샘플 간 유사도·거리 기반의 로컬 기준(클러스터링, K‑means, 페어와이즈 코사인 유사도 등)에 의존한다. 이는 최소한 O(N²) 복잡도를 초래하고, 로컬 다양성만 보장할 뿐 전체 데이터 분포를 유지하지 못한다. ScalSelect는 전체 샘플 표현을 행렬 R∈ℝ^{N×d}에 쌓고, SVD 혹은 랜덤화된 PCA를 통해 가장 큰 k개의 특이값에 대응하는 주된 서브스페이스 U_k를 추정한다. 각 샘플 r_i는 U_k에 대한 투영 길이 ||U_kᵀ r_i||²로 “기여도 점수”를 얻으며, 이 점수를 내림차순 정렬해 상위 B%만 선택한다. 이 과정은 행렬‑벡터 연산만으로 O(N·d·k) 시간에 수행되며, N에 대해 선형 복잡도를 유지한다.

실험에서는 LLaVA‑Vicuna‑7B, Qwen3‑VL 등 최신 VLM을 대상으로 다중 데이터셋(예: LLaVA‑Instruct, MiniGPT‑4 데이터)과 다양한 선택 비율(1 %30 %)을 테스트했다. 16 % 선택 비율에서 평균 97.5 % 이상의 성능을 유지했으며, 특히 Qwen3‑VL에서는 전체 데이터 학습보다 약간 높은 점수를 기록했다. Ablation 연구를 통해 (1) 어텐션 기반 초기 표현이 없을 경우 성능이 58 % 감소하고, (2) 서브스페이스 차원 k를 과소/과대 설정하면 선택 효율이 급격히 떨어짐을 확인했다. 또한, 선택된 샘플들의 시각 토큰 분포가 원본 데이터의 다양성을 잘 보존함을 시각화하였다.

ScalSelect는 (i) 외부 프록시 모델·데이터 불필요, (ii) 지시‑조건부 정보를 활용한 고품질 샘플 표현, (iii) 전역 서브스페이스 보존을 통한 선형‑시간 선택이라는 세 축을 결합해, 대규모 시각‑언어 튜닝의 비용을 크게 절감한다는 점에서 실용적·학술적 의미가 크다. 향후 연구에서는 다중 레이어 어텐션 통합, 동적 τ 조정, 그리고 비정형 대화형 지시를 위한 시계열 서브스페이스 모델링 등을 탐색할 여지가 있다.