멀티라벨 OOD 탐지를 위한 개념 기반 제로샷 프레임워크

초록

CMOOD는 사전 학습된 비전‑언어 모델(CLIP)을 활용해 라벨당 긍정·부정 개념을 자동 생성하고, 이 확장된 개념 집합을 기반으로 top‑k 유사도 점수를 결합한 새로운 스코어링 함수를 제안한다. 추가 학습 없이 다중 라벨 이미지에 대해 ID와 OOD를 구분하며, VOC와 COCO에서 평균 AUROC 95% 수준의 성능을 달성한다.

상세 분석

CMOOD는 기존 OOD 탐지 방법이 단일 라벨에 초점을 맞추고 다중 라벨의 복합적인 의미 관계를 반영하지 못한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 두 단계의 개념 확장 전략을 도입한다. 첫 번째 단계인 Positive Concept Mining에서는 GPT‑4와 같은 대형 언어 모델을 프롬프트하여 각 기본 라벨에 대해 ‘특징’, ‘상위 클래스’, ‘연관 아이템’ 세 가지 관점에서 세부 개념을 추출한다. 이렇게 얻어진 개념은 의미적 다양성을 확보하면서도 원 라벨과 높은 연관성을 유지하도록 필터링된다. 두 번째 단계인 Negative Concept Mining은 WordNet 등 어휘 데이터베이스에서 후보 단어를 수집하고, 각 후보와 전체 ID 라벨 집합 간의 코사인 유사도를 계산한다. 유사도가 가장 낮은 상위 k개를 부정 개념으로 선정함으로써, ID와 OOD 사이의 결정 경계를 명확히 만든다.

생성된 긍정·부정 개념 집합 P, N은 텍스트 인코더를 통해 임베딩으로 변환되고, 입력 이미지 I는 CLIP 이미지 인코더를 통해 임베딩 h로 매핑된다. 이후 CMOOD는 h와 B, P, N 각각에 대해 top‑k 평균 유사도 µ_k를 계산한다. 최종 ID 스코어 S_ID는 µ_k(B, I)와 µ_k(P, I)를 가중 평균하고, µ_k(N, I)와의 대비를 통해 조정한다(식 7). 이 스코어가 사전에 검증된 임계값 γ보다 낮으면 OOD로 판단한다.

핵심 기술적 기여는 다음과 같다. (1) 다중 라벨 상황에 맞춘 개념 기반 라벨 확장으로, 라벨 간 상관관계와 공존 패턴을 정량적으로 모델링한다. (2) 긍정·부정 개념을 동시에 활용하는 새로운 스코어링 함수는 기존의 단순 유사도 기반 방법보다 OOD와 ID 사이의 미세한 차이를 더 민감하게 포착한다. (3) 전 과정이 사전 학습된 VLM과 LLM만을 사용하므로 추가 파라미터 학습이 필요 없으며, CLIP‑B/16 기준 초당 800장의 처리량을 기록해 실시간 적용 가능성을 보여준다.

실험에서는 VOC와 COCO 두 대규모 멀티라벨 데이터셋을 사용해 다양한 OOD 시나리오(전혀 새로운 객체, 기존 라벨의 새로운 조합, 라벨 수 변동 등)를 구성하였다. CMOOD는 기존 MSP, Mahalanobis, NegLabel, NegPrompt 등과 비교해 평균 AUROC이 5~10%p 상승했으며, 특히 라벨 조합이 변할 때도 안정적인 성능을 유지했다. 또한 ablation study를 통해 긍정·부정 개념 각각이 성능에 미치는 영향을 분석했으며, top‑k 값과 부정 개념 필터링 임계값을 조정해도 전반적인 우수성을 확인했다.

한계점으로는 LLM 기반 개념 생성 과정이 프롬프트 설계에 의존한다는 점과, 매우 고차원·희소한 라벨 공간에서는 부정 개념 선택이 어려울 수 있다는 점을 언급한다. 향후 연구에서는 자동 프롬프트 최적화와 도메인 특화 어휘 사전을 활용한 부정 개념 생성 방법을 탐색할 계획이다.

요약하면, CMOOD는 “개념 기반 라벨 확장 + top‑k 대비 스코어링”이라는 새로운 패러다임을 제시함으로써, 다중 라벨 OOD 탐지에서 기존 방법이 갖는 의미적·구조적 한계를 극복하고, 실용적인 zero‑shot 성능을 달성한 점이 가장 큰 의의이다.