시각언어 모델 선택을 위한 레이어 전도성 기반 작업 유사도

초록

본 논문은 소수의 라벨이 없는 이미지만으로도 각 VLM(Visual‑Language Model)의 내부 시각 인코더 동작을 파악해, 모델‑특화적인 작업 유사도를 정량화한다. 레이어 전도성(conductance) 벡터를 이용해 작업을 표현하고, 엔트로피 정규화 정렬을 통해 목표 작업에 대한 블록 중요도 분포를 만든 뒤, 비대칭적인 Directional Conductance Divergence(DCD) 지표로 소스‑타깃 작업 간 커버리지를 측정한다. 이를 기반으로 직접 평가 없이도 VLM 순위를 예측하며, 48개 모델·21개 데이터셋 실험에서 기존 최첨단 방법(SWAB) 대비 NDCG@5를 14.7% 향상시켰다.

상세 분석

이 연구는 VLM 선택 문제를 “모델‑특화적인 작업 유사도”라는 새로운 관점에서 접근한다. 기존 방법들은 텍스트 기반 작업 설명에 의존하거나 대량의 라벨·이미지 데이터를 필요로 했지만, 실제 배포 환경에서는 목표 도메인에 라벨이 거의 없거나 전혀 없는 경우가 많다. 논문은 이러한 제약을 극복하기 위해 레이어 전도성이라는 내부 신경망 해석 기법을 활용한다. 레이어 전도성은 Integrated Gradients를 확장해 각 은닉 레이어(또는 블록)의 출력이 최종 스칼라 목표(여기서는 이미지 임베딩의 L2 norm)에 얼마나 기여했는지를 정량화한다. 이를 통해 각 모델의 시각 인코더를 ‘블록‑기여 벡터’ gₘ(x) 로 매핑하고, 동일 모델에 대해 여러 이미지에 대한 평균을 취해 작업별 대표 벡터 vₘ,τ 를 만든다. 이 벡터는 해당 작업이 모델 내부에서 어떤 단계(저‑레벨 텍스처 vs 고‑레벨 의미)들을 주로 활용하는지를 드러낸다.

다음 단계에서는 목표 작업 τ에 대해 블록 중요도 분포 αₘ,τ 를 추정한다. 여기서는 엔트로피 정규화 최적 수송(OT) 정렬을 적용해, vₘ,τ 와 소스 작업들의 vₘ,σ 간 유사성을 최대화하면서도 분포의 엔트로피를 억제한다. 결과적으로 αₘ,τ 는 목표 작업이 가장 의존하는 블록들을 확률적으로 강조한다.

핵심 기여인 Directional Conductance Divergence(DCD)는 두 작업 σ→τ 사이의 비대칭적 거리이다. 구체적으로 DCDₘ(σ→τ)=∑ᵢ αₘ,τ(i)·max(0, vₘ,σ(i)−vₘ,τ(i)) 로 정의되며, 이는 소스 작업이 목표 작업이 필요로 하는 블록을 충분히 커버하는지를 측정한다. 비대칭성은 전이 학습의 본질을 반영한다; A가 B를 잘 지원한다고 해서 B가 A를 똑같이 지원한다는 보장은 없다.

이러한 DCD 값을 이용해 각 소스 작업에 대한 VLM 순위를 가중 평균함으로써, 목표 작업에 대한 직접 평가 없이도 후보 모델들의 예상 성능 순위를 산출한다. 실험에서는 48개의 공개 VLM(ResNet, ViT, CLIP 변형 등)과 21개의 다운스트림 데이터셋(이미지 분류, 객체 검출, 영상-텍스트 매칭 등)을 대상으로 NDCG@5와 τ@5 지표를 측정했다. 제안 방법은 특히 데이터가 극히 제한된 few‑shot 상황에서 기존 텍스트‑기반 SWAB 대비 평균 14.7%의 NDCG 향상을 보였으며, 모델‑아키텍처가 다를수록 DCD가 더 큰 차별력을 발휘한다는 점을 확인했다.

이 논문의 강점은 (1) 라벨이 없는 소수 이미지만으로도 모델‑특화적인 작업 신호를 추출한다는 점, (2) 비대칭적 전이 가능성을 정량화하는 DCD라는 새로운 메트릭을 제시했다는 점, (3) 다양한 VLM과 작업에 대해 일관된 성능 향상을 입증했다는 점이다. 한계로는 레이어 전도성 계산 비용이 모델마다 다소 차이가 날 수 있고, 블록 정의가 아키텍처에 따라 달라지는 점에서 사전 정의가 필요하다는 점이다. 향후 연구에서는 전도성 외에 attention 흐름이나 gradient‑based 메타 정보를 결합해 더욱 정교한 작업 표현을 만들거나, 자동 블록 분할 기법을 도입해 범용성을 높일 수 있을 것이다.