데이터·개념 드리프트에 강한 SAM3, ConceptBank로 실시간 보정

초록

SAM3의 정적 텍스트 프롬프트가 시각·라벨 분포 변화에 취약한 문제를 해결하기 위해, 저자들은 목표 데이터의 통계만을 이용해 파라미터 없이 동작하는 ‘ConceptBank’를 제안한다. 클래스별 시각 프로토타입을 추출하고, 대표 샘플을 선별·정제한 뒤, 시각·언어 정보를 융합해 새로운 임베딩을 만든다. 이를 통해 데이터 드리프트와 개념 드리프트 모두에서 SAM3의 세그멘테이션 정확도가 크게 향상된다.

상세 분석

본 논문은 최근 주목받는 오픈‑보캐뷸러리 세그멘테이션 모델 SAM3가 실제 현장에 적용될 때 마주치는 두 종류의 분포 이동, 즉 데이터 드리프트(시각적 통계 변화)와 개념 드리프트(라벨 의미 변화) 문제를 명확히 정의하고, 이를 해결하기 위한 데이터 중심 보정 접근법을 제시한다. 기존 연구들은 모델 파인튜닝이나 프롬프트 엔지니어링에 의존했지만, 이는 추가 연산 비용과 도메인 편향을 초래한다. 반면 ConceptBank는 SAM3의 시각·텍스트 인코더를 전혀 수정하지 않고, 목표 도메인의 지원 집합(지원 이미지와 마스크)만을 활용해 파라미터‑프리 방식으로 새로운 텍스트 임베딩을 생성한다는 점에서 혁신적이다.

핵심 설계

1. 클래스‑별 시각 프로토타입 추정
   • 마스크‑풀링된 크롭 임베딩 z(v, y)을 ℓ2 정규화 후, 동일 클래스의 모든 인스턴스에 대해 평균을 취해 p_c를 만든다. 이는 목표 도메인에서 해당 클래스가 차지하는 시각적 중심을 정량화한다.
2. 대표 샘플 마이닝
   • 전체 크롭 집합 V_c 중 코사인 유사도가 p_c와 가장 높은 Top‑K 샘플을 R_c로 선정한다. 이 과정은 장-tail 아웃라이어, 잡음, 부분 가림 등으로 인한 노이즈 샘플을 효과적으로 배제하고, 견고한 통계를 확보한다.
3. 프로토타입‑일관 개념 융합
   • LLM(대형 언어 모델)으로 확장된 텍스트 설명을 시각 프로토타입과 결합해, e*_c = Softmax(α·e_Sc + β·p_c) 형태의 보정된 쿼리 임베딩을 만든다. 여기서 e_Sc는 원본 SAM3 텍스트 인코더 출력이며, α·β는 경험적으로 설정된 가중치이다. 최종적으로 ConceptBank B = {(c, e*_c)}를 구축한다.

장점

• 실시간 적용 가능: 한 번의 오프라인 구축 후, 추론 단계에서는 텍스트 인코더를 우회하고 사전 계산된 e*_c만 조회하면 되므로, 연산 오버헤드가 거의 없다.
• 범용성: 자연 장면, 원격 탐사, 의료 영상 등 시각적 특성이 크게 다른 데이터셋에서도 동일 파이프라인을 그대로 적용할 수 있다.
• 드리프트 구분: 데이터와 개념 드리프트를 별도로 모델링함으로써, 각각에 최적화된 보정 전략을 제공한다.

한계 및 향후 과제

• 지원 집합 의존성: 충분히 다양한 라벨링이 포함된 지원 집합이 없을 경우, 프로토타입이 편향될 위험이 있다.
• LLM 의존성: 개념 융합 단계에서 사용된 LLM이 사전 지식에 따라 편향될 수 있으며, 이는 특히 저자극 도메인에서 부정확한 텍스트 확장을 야기할 수 있다.
• 다중 라벨·다중 객체 상황: 현재는 클래스별 독립 프로토타입을 가정하고 있어, 복합 라벨이나 겹치는 객체에 대한 정교한 보정이 필요하다.

전반적으로 ConceptBank는 파라미터‑프리, 데이터‑주도라는 설계 철학을 통해 SAM3의 실용성을 크게 확장시켰으며, 오픈‑보캐뷸러리 세그멘테이션 분야에서 “플러그‑앤‑플레이” 보정 모듈의 가능성을 제시한다.