스펙트럴GCD 효율적인 멀티모달 일반화 카테고리 발견

초록

스펙트럴GCD는 CLIP의 이미지‑텍스트 유사도를 활용해 대규모 개념 사전을 기반으로 이미지당 의미 개념 혼합 표현을 만든다. 스펙트럴 필터링으로 교사 모델의 교차‑모달 공분산을 분석해 작업에 관련된 개념만 자동 선택하고, 순·역 지식 증류를 통해 학생 모델이 의미적으로 풍부하고 정렬된 표현을 학습하도록 한다. 이를 통해 기존 멀티모달 방법보다 적은 연산량으로 구형·신규 클래스 모두에서 높은 정확도를 달성한다.

상세 분석

스펙트럴GCD는 일반화 카테고리 발견(GCD) 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합한다. 첫째, 이미지와 텍스트를 별도로 처리하는 기존 멀티모달 접근법과 달리, CLIP의 이미지‑텍스트 코사인 유사도를 직접 사용해 “교차‑모달 표현”을 만든다. 이 표현은 사전 정의된 M개의 개념 C 에 대해 각 이미지가 해당 개념과 얼마나 연관되는지를 나타내는 벡터 z 이며, 이는 확률적 토픽 모델에서 문서가 토픽 분포를 갖는 것과 유사한 충분통계(sufficient representation) 개념을 적용한다. 둘째, 모든 개념이 학습에 유용한 것은 아니므로, 강력한 교사 모델(대형 CLIP)에서 얻은 교차‑모달 공분산 행렬을 eigendecomposition하여 주요 고유값에 대응하는 방향만 보존한다. 이를 “스펙트럴 필터링”이라 부르며, 잡음이 많은 개념을 자동으로 제거해 사전 크기를 실질적으로 축소한다. 필터링된 사전 Ĉ 에 대해 학생 모델은 두 단계의 지식 증류를 수행한다. 순방향(distillation)에서는 교사의 소프트맥스된 유사도 z_T 를 목표로 하여 학생의 z_S 가 동일한 의미 구조를 유지하도록 학습하고, 역방향(distillation)에서는 학생이 만든 z_S 를 교사에게 다시 입력해 교사‑학생 간 상호 정합성을 강화한다. 이러한 양방향 증류는 학생이 제한된 파라미터(이미지 인코더의 마지막 블록만 미세조정, 텍스트 인코더 고정)로도 의미적 풍부함을 유지하게 만든다. 학습 손실은 (1) 라벨이 있는 데이터에 대한 감독 대비 손실 L_s^cls, (2) 라벨이 없는 데이터에 대한 자기‑증류 L_u^cls, (3) 라벨 기반·라벨 비기반 대비 손실 L_s^con, L_u^con 을 가중합한 L 으로 구성된다. 중요한 점은 모든 손실이 교차‑모달 표현 z 위에서 작동한다는 것으로, 이는 이미지‑텍스트 간의 상호 보완 정보를 동시에 활용해 과적합을 방지하고, 특히 “Old” 클래스에 편향되는 현상을 완화한다. 실험에서는 CUB, ImageNet‑R, CIFAR‑100 등 6개 벤치마크에서 기존 최첨단 멀티모달 방법(GET, TextGCD 등)보다 동등하거나 더 높은 정확도를 기록했으며, 연산량은 이미지‑전용 방법과 비슷한 수준으로 크게 감소했다. 코드 공개와 사전‑학습된 CLIP 활용으로 재현성이 높으며, 대규모 사전 없이도 작업‑특정 개념을 자동 추출할 수 있다는 점이 실용성을 더한다.