불균형 도메인 일반화를 위한 부정 중심 대조 학습

초록

본 논문은 도메인 이동과 라벨 불균형이 동시에 존재하는 Imbalanced Domain Generalization(IDG) 문제에 대해 이론적 일반화 경계를 제시하고, 부정 샘플을 주요 학습 신호로 활용하는 Negative‑Dominant Contrastive Learning(NDCL) 방법을 제안한다. NDCL은 마진을 확대해 소수 클래스의 결정 경계가 다수 클래스에 치우치는 현상을 완화하고, 클래스 내 응집성을 재가중 교차 엔트로피와 도메인 간 예측 중심 정렬을 통해 보강한다. 실험 결과, 다양한 벤치마크와 불균형 설정에서 기존 DG·Imbalance 방법들을 크게 능가함을 입증한다.

상세 분석

본 연구는 IDG라는 새로운 문제 정의에서 출발한다. 기존 도메인 일반화(DG) 연구는 주로 공변량 이동(P(X) 차이)만을 고려했으며, 라벨 분포 차이(P(Y) 차이)는 무시되는 경우가 많았다. 그러나 실제 의료·재무·자연 이미지 등에서는 도메인마다 라벨 비율이 크게 달라지는 장기적 불균형이 흔히 발생한다. 이러한 라벨 이동은 소수 클래스의 마진을 축소시키고, 다수 클래스에 결정 경계가 편향되는 현상을 초래한다. 논문은 이를 정량화하기 위해 H‑divergence 기반의 일반화 경계를 도출한다. 핵심은 (1) 사전 분포 차이, (2) 사후 분포 차이, (3) 마진(Decision Margin) 세 요소가 위험 상한에 기여한다는 점이다. 특히 사후 분포 차이는 라벨 불균형에 의해 직접적으로 악화되며, 마진 항은 소수 클래스에 대한 충분한 구분이 필요함을 강조한다.

이론적 통찰을 바탕으로 제안된 NDCL은 세 가지 서브 목표로 구성된다. 첫째, 기존 InfoNCE를 변형해 부정 샘플을 numerator에 배치하고, 코사인 유사도 대신 코사인 비유사도를 손실에 사용한다. 이렇게 하면 학습 신호가 ‘부정’ 쪽으로 집중돼, 소수 클래스 주변에 존재하는 다수 클래스의 부정 샘플이 강하게 밀어내진다. 두 번째로, 하드 네거티브 마이닝을 도입해 낮은 신뢰도의 양성 샘플과 높은 신뢰도의 부정 샘플을 mixup으로 결합, 경계 근처의 모호한 샘플에 더 큰 그래디언트를 부여한다. 이는 소수 클래스가 다수 클래스에 의해 압도되는 상황을 완화한다. 세 번째는 클래스별 재가중 교차 엔트로피와 예측 중심 정렬(predict‑central alignment)이다. 전자는 클래스 내 샘플에 가중치를 부여해 소수 클래스 손실을 증폭시키고, 후자는 각 도메인별 클래스 프로토타입(예측 평균) 간의 코사인 유사도를 정렬해 도메인 간 사후 분포 일치를 강제한다.

실험에서는 PACS, VLCS, Office‑Home 등 기존 DG 벤치마크에 라벨 불균형을 인위적으로 주입한 시나리오와, 실제 의료 데이터셋(예: 혈액 세포 이미지)에서의 자연 불균형을 모두 평가한다. NDCL은 평균 정확도와 마진(클래스 간 거리) 모두에서 기존 DG 방법(SupCon, CORAL 등)과 불균형 대응 기법(재가중, 재샘플링)보다 현저히 높은 성능을 보였다. 특히 소수 클래스의 F1‑score가 10% 이상 개선된 점이 주목할 만하다. 또한 ablation study를 통해 부정 중심 손실, 하드 네거티브 마이닝, 예측 중심 정렬 각각이 독립적으로 기여함을 확인하였다.

이 논문의 주요 강점은 (1) IDG라는 복합 문제를 명확히 정의하고 이론적 경계를 제공함으로써 연구 방향을 제시한 점, (2) 부정 샘플을 활용한 새로운 대조 학습 설계가 라벨 불균형을 자연스럽게 완화한다는 점, (3) 도메인 간 사후 일치를 목표로 한 예측 중심 정렬이 기존의 입력 공간 정렬보다 불균형에 강인함을 입증한 점이다. 한계로는 현재 손실이 예측 공간에 국한돼 있어, 원시 이미지 수준에서의 특징 정규화와 결합했을 때 추가적인 이득이 있을지에 대한 탐색이 부족하다는 점이다. 또한 하드 네거티브 마이닝에 사용되는 mixup 파라미터가 데이터셋마다 민감하게 작동할 수 있어, 자동 튜닝 메커니즘이 필요하다. 향후 연구에서는 NDCL을 멀티‑모달 혹은 시계열 도메인에 확장하고, 라벨 불균형이 동적으로 변하는 온라인 설정에 적용하는 방안을 모색할 수 있다.