이중 교사 증류와 서브네트워크 보정으로 구현한 블랙박스 도메인 적응

초록

본 논문은 소스 데이터와 소스 모델이 완전히 차단된 블랙박스 도메인 적응 상황에서, 검은 상자 모델의 예측과 대규모 비전‑언어 모델(CLIP)의 일반적 의미 정보를 동시에 활용한다. 두 교사의 출력을 적응형 융합하여 신뢰할 수 있는 의사레이블을 생성하고, 타깃 네트워크와 파라미터를 부분 공유하는 서브네트워크를 도입해 노이즈 레이블에 대한 과적합을 완화한다. 또한, 타깃 모델의 예측을 순환적으로 이용해 의사레이블과 CLIP 프롬프트를 지속적으로 정제하고, 클래스별 프로토타입 기반 자체 학습으로 최종 성능을 끌어올린다. 실험 결과, 기존 최첨단 방법들을 크게 앞선다.

상세 분석

이 논문은 블랙박스 도메인 적응(BBDA)이라는 가장 제한적인 설정을 다루면서, 두 종류의 교사 모델을 동시에 활용하는 독창적인 프레임워크를 제시한다. 첫 번째 교사는 실제 서비스 환경에서 API 형태로 제공되는 검은 상자 소스 모델이며, 두 번째 교사는 대규모 이미지‑텍스트 쌍으로 사전 학습된 CLIP이다. 두 교사는 각각 “특정 도메인 지식”과 “범용 의미 지식”을 보유하고 있어, 단독 사용 시 발생하는 예측 불확실성을 상호 보완한다는 점이 핵심이다.

예측 융합 단계에서는 각 교사의 출력에 대한 엔트로피를 계산해 불확실성을 정량화하고, 이를 기반으로 가중치 α를 동적으로 결정한다. α = H_c / (H_b + H_c) 로 정의되어, CLIP의 엔트로피가 낮을수록(즉, 더 확신이 있을수록) CLIP에 더 큰 비중을 부여한다. 또한, 목표 데이터 양 n_t 가 사전에 정의된 임계값 ˜n_t 를 초과하면 CLIP 비중을 강화하고, 데이터가 부족할 경우 소스 모델의 비중을 높이는 이중 조건부 융합식을 도입해 데이터 규모에 따른 적응성을 확보한다.

지식 증류는 KL 발산을 최소화하는 형태로 구현되며, 타깃 모델 f_t 의 출력 ˆy_t 와 융합된 의사레이블 ˆy 사이의 차이를 최소화한다. 여기서 단순 KL 손실에 더해 Mixup 기반 일관성 손실 L_mix 과 정보 최대화 손실 L_im 을 추가함으로써, 모델이 입력 변형에 강건하고 예측 분포가 균형 잡히도록 유도한다.

가장 눈에 띄는 기여는 “서브네트워크 기반 정규화”이다. 타깃 네트워크와 구조를 부분 공유하는 서브네트워크를 별도로 학습시키고, 두 네트워크 간 출력 정합(output alignment)과 그래디언트 차이(gradient discrepancy) 를 최소화한다. 이는 노이즈 레이블에 과도히 적합되는 것을 방지하고, 학습 과정에서 모델이 보다 일반화된 표현을 유지하도록 돕는다.

두 번째 단계에서는 타깃 모델이 생성한 특징을 이용해 클래스별 프로토타입을 계산하고, 각 샘플을 가장 가까운 프로토타입에 재배정한다. 이 프로토타입 기반 자체 학습은 최종 단계에서 레이블 정밀도를 크게 향상시켜, 전체 파이프라인의 성능을 한층 끌어올린다.

실험에서는 Office-31, Office-Home, DomainNet 등 다양한 벤치마크에서 소스 데이터·모델을 전혀 사용하지 않는 상황에서도 기존 SFA·UDA 방법들을 능가하는 결과를 보였다. 특히, CLIP 프롬프트를 타깃 도메인에 맞게 온라인으로 업데이트하는 메커니즘이 의미론적 일관성을 유지하는 데 크게 기여했음이 입증되었다.

전체적으로, 이 논문은 (1) 두 교사의 상보적 특성을 정량적으로 융합, (2) 서브네트워크를 통한 과적합 방지, (3) 프로토타입 기반 자체 학습이라는 세 가지 핵심 요소를 결합해 BBDA 문제를 효과적으로 해결한다는 점에서 큰 의의를 가진다.