패치 관계 그래프로 배우는 효율적인 Few Shot 이미지 분류

초록

CLIP 모델의 Few-Shot 학습 성능을 높이기 위해, 이미지를 패치로 분할하고 패치 간의 관계를 그래프 어텐션 네트워크로 모델링하는 새로운 방법을 제안한다. 복잡한 그래프 연산은 학습 단계에서만 사용되어 캐시 키를 정제하며, 추론 시에는 기존 캐시 조회와 동일한 효율성을 유지한다. 11개 벤치마크에서 기존 방법 대비 향상된 성능을 보였으며, 군사 구호 현장을 위한 새로운 데이터셋도 공개한다.

상세 분석

본 논문이 제안하는 방법론의 기술적 핵심은 ‘학습 시에만 적용되는 패치 레벨 관계형 정제(Refinement)‘에 있다. 기존 캐시 기반 적응 방법(예: Tip-Adapter)이 CLIP으로 추출한 전역(Global) 이미지 임베딩을 그대로 사용하는 것과 달리, 제안 방법은 이미지를 그리드 기반 패치로 분할한 후, 각 패치를 노드로 하는 완전 연결 그래프를 구성한다. 여기서 혁신적인 점은 두 가지 어텐션 메커니즘을 결합한 ‘관계형 게이트 어텐션(Relational Gated Graph Attention)‘을 도입했다는 것이다.

첫 번째 어텐션(Attention 1)은 기존 GAT와 유사하게 학습 가능한 가중치 벡터를 통해 노드(패치) 간의 구조적/맥락적 관련성을 계산한다. 두 번째 어텐션(Attention 2)은 단순 내적(Dot-Product)을 통해 노드 간의 의미적 유사성을 포착한다. 이 두 값을 곱하고 두 번째 어텐션에 시그모이드를 적용하는 방식은 GRU의 게이트 메커니즘에서 영감을 받았으며, 구조적 필터링과 내용 기반 필터링을 동시에 수행하여 보다 풍부하고 강건한 패치 표현을 학습할 수 있게 한다.

이렇게 정제된 패치 임베딩들은 ‘학습 가능한 다중 집계 풀링(Learnable Multi-Aggregation Pooling)‘을 통해 하나의 이미지 레벨 임베딩으로 합쳐진다. 이 과정에서 평균(mean), 최대(max), 표준편차(std) 등 다양한 통계량을 학습 가능한 가중치로 조합하여, 단순 평균 풀링보다 더 표현력 있는 최종 특징을 생성한다.

가장 중요한 공학적 통찰은 ‘학습-추론 비대칭 구조’다. 계산 비용이 높은 그래프 추론은 오직 지원(Support) 세트 이미지에 대한 캐시 키를 업데이트하는 학습 단계에서만 수행된다. 추론(쿼리 이미지 분류) 시에는 정제된 캐시 키와 원본 CLIP의 제로샷 로짓을 융합하여 예측하므로, 추가 그래프 계산 오버헤드가 전혀 발생하지 않는다. 이는 실용적 배포 관점에서 매우 큰 장점이며, Few-Shot 학습의 정확성과 대규모 모델의 추론 효율성을 동시에 잡은 설계라 평가할 수 있다.