프롬프트로 구현하는 지속적 조합 영샷 학습

📝 원문 정보

• Title: Prompt-Based Continual Compositional Zero-Shot Learning
• ArXiv ID: 2512.09172
• 발행일: 2025-12-09
• 저자: Sauda Maryam, Sara Nadeem, Faisal Qureshi, Mohsen Ali

📝 초록 (Abstract)

본 논문은 시각‑언어 모델(VLM)을 활용해 새로운 속성·객체·그 조합을 지속적으로 학습하면서 기존 지식을 망각하지 않는 방법을 제안한다. 기존 지속학습이 클래스가 서로 겹치지 않는다고 가정하는 반면, 조합 영샷 학습(CZSL)에서는 속성과 객체가 여러 세션에 걸쳐 재등장하고 조합만이 고유하기 때문에 더 복잡한 문제다. 고정된 VLM 백본 위에 프롬프트 기반의 PromptC‑CCZSL 프레임워크를 구축하고, 최신 세션에 가중치를 부여한 다중 교사(distillation) 방식을 통해 이전 지식을 보존한다. 세션‑인식 조합 프롬프트는 새로운 조합을 위한 다중모달 특징을 융합하고, 속성·객체 프롬프트는 세션‑무관하게 학습해 전역 의미 일관성을 유지한다. 또한, Cosine Anchor Loss(CAL)로 이전 지식을 고정하고, Orthogonal Projection Loss(OPL)로 새로운 속성·객체 임베딩이 기존 임베딩과 직교하도록 하여 중첩을 방지한다. Intra‑Session Diversity Loss(IDL)는 현재 세션 내 임베딩의 다양성을 촉진한다. 마지막으로, 망각 정도와 조합 일반화 능력을 동시에 평가하는 종합 프로토콜을 제시한다. UT‑Zappos와 C‑GQA 벤치마크 실험에서 PromptC‑CCZSL은 기존 VLM 기반·비‑VLM 기반 방법들을 크게 앞서며, 폐쇄형 환경에서 CCZSL의 새로운 기준을 제시한다.

💡 논문 핵심 해설 (Deep Analysis)

본 연구는 지속적 학습(continual learning)과 조합 영샷 학습(compositional zero‑shot learning, CZSL)의 교차점에 위치한 새로운 문제 영역, 즉 지속적 조합 영샷 학습(CCZSL)을 정의하고 해결책을 제시한다. 기존 지속적 학습은 보통 클래스가 서로 겹치지 않는(disjoint) 상황을 전제로 하여, 새로운 클래스가 추가될 때 이전 클래스에 대한 파라미터를 고정하거나 정규화하는 방식으로 망각을 억제한다. 그러나 CZSL에서는 “속성(attribute)”과 “객체(object)”라는 두 개의 기본 요소가 여러 세션에 걸쳐 반복적으로 등장하고, 이들의 조합(composition)만이 새로운 형태로 등장한다. 따라서 단순히 클래스 수준에서 파라미터를 고정하는 기존 방법은 속성·객체 간의 상호작용을 충분히 보존하지 못한다.

이 논문은 이러한 구조적 특성을 반영해 세 가지 핵심 설계를 도입한다. 첫째, **프롬프트 기반…

📄 논문 본문 발췌 (Translation)

...(본문 내용이 길어 생략되었습니다. 사이트에서 전문을 확인해 주세요.)