작업별 방해 레이어: 비전‑언어 모델의 숨은 모듈성

초록

본 논문은 사전 학습된 비전‑언어 모델(VLM)에서 모든 레이어가 항상 유익한 것은 아니라는 사실을 실험적으로 입증한다. 특정 레이어의 self‑attention 파라미터를 0으로 대체(또는 균일 스케일링)하면 일부 다운스트림 작업에서 성능이 오히려 향상되는 현상을 발견하였다. 이를 “Task‑Interfering Layer”(작업‑방해 레이어)라 명명하고, 각 작업별 레이어 민감도를 정량화한 “Task‑Layer Interaction Vector”(작업‑레이어 상호작용 벡터)를 제안한다. 동일한 작업군은 유사한 벡터 패턴을 보이며, 이를 기반으로 훈련‑프리 테스트‑타임 적응 기법인 TaLo(Task‑Adaptive Layer Knockout)를 설계하였다. TaLo는 가장 방해가 되는 레이어를 자동으로 식별·우회함으로써 Qwen‑VL, LLaVA 등 다양한 모델과 벤치마크에서 평균 4‑16%의 성능 향상을 달성한다.

상세 분석

본 연구는 VLM의 내부 구조가 작업별로 서로 다른 기능적 모듈을 형성한다는 가설을 실험적으로 검증한다. 저자들은 먼저 각 레이어의 self‑attention 모듈을 ‘제로링(zeroing)’하거나 ‘균일 스케일링(uniform scaling)’하는 레이어 인터벤션을 수행한다. 제로링은 해당 레이어의 attention 연산을 완전히 차단하고 residual 연결만 남겨, 정보 흐름이 직접 상위·하위 레이어를 우회하도록 만든다. 이때 성능이 상승하면 해당 레이어가 해당 작업에 방해가 된다고 판단한다. 실험 결과, Qwen‑VL‑2B, LLaVA‑NEXT‑8B, InternVL‑40B 등 3종류 모델에서 30% 이상 작업이 특정 레이어 제거 시 5% 이상 정확도 향상을 보였으며, 특히 ‘Maps’와 같은 과학·지리 질문에서 16.6%까지 개선했다.

다음으로 저자들은 각 작업에 대해 레이어별 성능 변화를 벡터화한 Task‑Layer Interaction Vector(v(T))를 정의한다. v(T)∈ℝ^L (L은 레이어 수)이며, 각 차원은 해당 레이어를 제로링했을 때의 정확도 변화(양수: 방해, 음수: 기여)를 나타낸다. Pearson 상관계수를 이용해 벡터 간 유사도를 측정한 결과, 논리추론, 수학문제, 시각적 인식 등 유사한 인지 요구를 가진 작업들이 높은 클러스터링 유사성을 보였다. 이는 VLM 내부에 작업 특화된 ‘기능적 조직’이 존재함을 시사한다.

이러한 관찰을 바탕으로 제안된 TaLo는 두 단계로 구성된다. 1) Dynamic Layer Selection: 소량의 라벨이 없는 테스트 샘플을 이용해 각 레이어의 평균 성능 변화를 추정하고, 가장 큰 양의 변화를 보이는 레이어를 ‘방해 레이어’로 선정한다. 2) Layer Knockout: 선택된 레이어의 self‑attention 파라미터를 inference 시점에 0으로 고정하여 우회한다. 이 과정은 모델 파라미터를 영구적으로 변경하지 않으며, 동일 모델을 다른 작업에 재사용할 때는 다시 원래 상태로 복구한다.

TaLo는 훈련 비용이 전혀 들지 않으며, 추가 연산도 레이어 하나를 건너뛰는 수준에 불과해 실시간 서비스에 적용 가능하다. 실험에서는 LLaVA‑NEXT‑8B에서 MMMU의 ‘Tech&Engineering’ 서브셋에 4.7%p, ScienceQA‑‘Physical Geography’에 10.4%p, Qwen‑VL‑2B에서 ‘Maps’에 16.6%p의 성능 향상을 기록했다. 또한, 다양한 모델·데이터셋 조합에서도 일관된 개선 효과가 관찰돼 현상 자체가 모델 아키텍처에 일반화된 특성임을 입증한다.

이 논문은 기존 모델 프루닝이나 편집 연구와 차별화된다. 프루닝은 주로 모델 경량화와 추론 속도 개선을 목표로 하지만, TaLo는 특정 작업에 대한 성능 최적화를 목표로 한다. 또한, 파라미터를 영구적으로 수정하지 않으므로 원본 모델의 지식 손실 위험이 없으며, 기존의 파라미터 기반 편집 기법보다 구현이 간단하고 확장성이 높다.

한계점으로는 현재 self‑attention만을 대상으로 했으며, feed‑forward 네트워크나 비전 인코더에 대한 인터벤션은 성능 급락을 초래한다는 점이다. 또한, 방해 레이어가 작업마다 하나만 존재한다는 가정이 모든 상황에 적용되는지는 추가 연구가 필요하다. 향후 연구에서는 다중 레이어 동시 우회, 레이어별 가중치 스케일링, 그리고 비전 인코더까지 확장한 전방위적 레이어 조정 전략을 탐색할 여지가 있다.