시각 프롬프트 튜닝 재조명: 프롬프트 전문가의 표현력

초록

본 논문은 기존 Visual Prompt Tuning(VPT)의 한계인 정적 프롬프트 전문가의 표현력 부족을 지적하고, 입력에 따라 동적으로 변하는 프롬프트 전문가를 도입한 Visual Adaptive Prompt Tuning(VAPT)을 제안한다. VAPT는 토큰‑와 채널‑단위 프로젝터를 활용해 파라미터 효율성을 유지하면서도 MoE 관점에서 최적의 샘플 효율성을 달성한다. VTAB‑1K와 FGVC 벤치마크에서 VAPT는 완전 파인튜닝 대비 7.34%·1.04%의 성능 향상을 보이며, 기존 VPT보다 적은 파라미터로 우수한 결과를 얻는다.

상세 분석

본 연구는 Vision Transformer(ViT) 내부의 멀티헤드 셀프‑어텐션을 Mixture‑of‑Experts(MoE) 구조와 동등하게 해석함으로써 VPT를 새로운 관점에서 재조명한다. 기존 VPT에서는 프롬프트 토큰이 고정된 벡터 p_j 로 모델에 삽입되어, 각 어텐션 헤드에서 “프롬프트 전문가” f_{N+j}(X)=W_V^T p_j 로 구현된다. 이때 f_{N+j}는 입력 X에 전혀 의존하지 않는 상수 함수이며, 사전 학습된 전문가 f_i(X)=W_V^T x_i 와는 기능적 격차가 있다. 이러한 정적 특성은 MoE에서 기대되는 “입력‑조건부 전문가” 역할을 수행하지 못해, 프롬프트가 제공할 수 있는 표현력의 상한을 크게 제한한다는 것이 저자들의 핵심 가설이다.

VAPT는 이 한계를 극복하기 위해 두 가지 핵심 모듈을 설계한다. 첫째, 토큰‑와이즈 프로젝터 G_{j’}(X)=∑{k=1}^N α{j’,k} x_k 로, 각 프롬프트 토큰이 전역적인 가중합을 통해 입력 토큰들의 정보를 집계하도록 만든다. α_{j’,k}는 학습 가능한 스칼라이며, 토큰 간 상호작용을 간접적으로 반영한다. 둘째, 채널‑와이즈 컨볼루션을 도입해 입력 피처 맵 X_img에 동일한 K×K 커널을 모든 채널에 공유 적용한다. 이는 공간적 인접성을 저비용으로 인코딩하면서 파라미터 수를 d배 감소시킨다. 컨볼루션 후 플래튼된 피처는 토큰‑와이즈 프로젝터에 전달돼, 최종 프롬프트 토큰 P^{(l)}를 동적으로 생성한다.

이러한 설계는 MoE 관점에서 “입력‑조건부 전문가”를 구현한다는 점에서 의미가 크다. 토큰‑와이즈 프로젝터는 각 프롬프트 전문가를 X에 대한 선형 변환으로 바꾸어, 기존 정적 p_j 를 대체한다. 따라서 프롬프트는 입력에 따라 달라지는 가중치를 학습하게 되며, 기존 VPT가 제공하던 “바이어스 추가” 수준을 넘어 복합적인 변형을 수행한다.

이론적으로 저자들은 VAPT가 샘플 효율성 측면에서 최적임을 증명한다. 구체적으로, 프롬프트 추정 문제를 선형 회귀 형태로 모델링하고, 토큰‑와이즈 프로젝터와 채널‑와이즈 컨볼루션이 제공하는 자유도가 충분히 크면서도 파라미터 수는 O(d) 수준에 머무른다는 점을 보인다. 이는 고차원 입력 공간에서 과적합 위험을 최소화하면서도 필요한 표현력을 확보한다는 의미다.

실험 결과는 이론적 기대와 일치한다. 저자들은 VTAB‑1K와 FGVC 데이터셋에서 VAPT가 기존 VPT보다 일관되게 높은 정확도를 기록했으며, 특히 저데이터 환경(예: Stanford Dogs 1% 학습 데이터)에서 VAPT는 60.1%의 정확도를 달성해 VPT의 3.6%와 큰 격차를 보였다. 파라미터 측면에서도 VAPT는 VPT보다 적은 수의 학습 가능한 파라미터(전체 파라미터 대비 0.6% FLOPs 증가)만을 사용하면서 성능을 향상시켰다.

요약하면, VAPT는 (1) 프롬프트 전문가의 입력‑조건부 동적 변환, (2) 전역 및 지역 정보를 동시에 포착하는 효율적인 프로젝터 설계, (3) MoE 기반 이론적 정당성을 제공함으로써 기존 VPT의 한계를 체계적으로 극복한다. 이러한 접근은 파라미터 효율성을 유지하면서도 프롬프트 기반 파인튜닝의 표현력을 크게 확장할 수 있음을 입증한다.