혼동 고리를 끊다 CLIP 기반 정렬로 소스‑프리 도메인 적응 구현

초록

본 논문은 소스 데이터를 사용할 수 없는 상황에서 사전 학습된 소스 모델을 목표 도메인에 적응시키는 소스‑프리 도메인 적응(SFDA) 문제를 다룬다. 기존의 의사라벨링 방식은 미세한 클래스 간 차이와 비대칭·동적 혼동 현상에 취약한데, 저자는 이를 “클래스 혼동”이라는 개념으로 명시적으로 모델링한다. 제안된 CLIP‑Guided Alignment(CGA) 프레임워크는 (1) MCA로 혼동 방향성을 탐지하고, (2) MCC에서 CLIP 기반 텍스트 프롬프트(예: “버스로 보이는 트럭”)를 생성해 혼동‑인식 의사라벨을 제공하며, (3) FAM에서 CLIP과 소스 모델의 혼동‑인식 특징 은행을 대비시켜 대조 학습으로 표현 공간을 정렬한다. 실험 결과, CGA는 기존 최첨단 SFDA 방법들을 전반적으로 능가하고, 특히 혼동이 심한 미세분류 데이터셋에서 큰 성능 향상을 보인다.

상세 분석

CGA는 기존 SFDA 연구가 간과해 온 “비대칭·동적 클래스 혼동”을 핵심 문제로 정의하고, 이를 세 단계의 모듈로 체계화한다. 첫 번째 단계인 Model Class Confusion Analysis(MCA)에서는 목표 데이터 전체에 대한 소스 모델의 소프트 예측을 수집하고, 클래스별 확률 중심을 계산해 방향성 있는 혼동 그래프를 만든다. 이 그래프는 특정 클래스 A가 클래스 B로 오인되는 빈도와 방향을 정량화해, 정적 관계가 아니라 학습 진행 중에 변하는 동적 패턴을 포착한다. 두 번째 단계인 Multi‑Prototype Confused CLIP(MCC)은 CLIP의 텍스트 인코더를 활용해 혼동 쌍마다 “A는 B처럼 보인다”와 같은 혼합 프롬프트를 자동 생성한다. 이러한 프롬프트는 CLIP의 풍부한 언어‑시각 사전학습 지식을 텍스트 프로토타입으로 전이시켜, 기존의 순수 클래스 명칭보다 더 미세한 시각적 차이를 반영한다. MCC는 프롬프트 파라미터를 소량만 학습함으로써 기존 CLIP을 크게 변형하지 않으며, 의사라벨링 단계에서 소스 모델의 오류를 보정한다. 세 번째 단계인 Feature Alignment Module(FAM)은 MCA와 MCC에서 얻은 혼동‑인식 클래스 중심(feature centroids)을 각각 소스 모델과 CLIP의 특징 공간에 저장한다. 이후 대조 손실을 이용해 두 특징 은행을 정렬함으로써, CLIP의 풍부한 의미론적 구조를 소스 모델의 특징 공간에 주입한다. 이 과정은 클래스 간 경계가 겹치는 영역을 멀리 떨어뜨려, 목표 도메인에서의 판별력을 크게 향상시킨다. 전체 파이프라인은 “감지 → 표현 → 정렬”의 폐쇄 루프를 형성해, 초기 혼동 탐지가 향상된 의사라벨을 만들고, 그 라벨이 다시 특징 정렬을 통해 혼동을 감소시키는 순환 구조를 만든다. 실험에서는 Office‑Home, VisDA‑2017, DomainNet 등 네 가지 벤치마크와 특히 미세분류를 위한 CUB‑200‑2011에서 기존 방법 대비 평균 3~5%p의 정확도 상승을 기록한다. 또한, 혼동 그래프의 동적 업데이트가 학습 초기에 높은 혼동을 빠르게 억제하고, 후반부에는 안정적인 정밀도를 유지함을 시각화 결과로 보여준다. 전체적으로 CGA는 (1) 비대칭 혼동을 정량화, (2) CLIP 기반 텍스트 프롬프트로 혼동을 보정, (3) 대조 학습으로 두 모델의 특징을 정렬한다는 세 가지 혁신을 통해 SFDA의 핵심 한계를 효과적으로 극복한다.