후방 확률 변동 하에서의 도메인 일반화

초록

본 논문은 도메인 일반화(DG) 문제를 “후방 확률 변동(posterior drift)”이라는 가정 하에 재정의하고, 도메인 메타데이터를 활용한 Domain‑Informed ERM(DI‑ERM)과 기존의 풀링‑ERM을 이론적으로 비교한다. 위험 계층(Risk Hierarchy)을 제시하고, 후방 변동이 존재할 때 DI‑ERM이 엄격히 우수함을 증명한다. 또한, 시각·언어 벤치마크 실험을 통해 이론적 결과를 실증한다.

상세 분석

이 논문은 기존 DG 연구가 “단일 최적 분류기가 모든 도메인에서 잘 작동한다”는 전제에 의존해 왔지만, 실제 많은 응용—특히 자연어 처리에서—에서는 도메인마다 조건부 분포 P(Y|X) 가 크게 달라지는 ‘후방 확률 변동(posterior drift)’ 현상이 나타난다는 점을 지적한다. 이를 정량화하기 위해 저자는 (X, Y, M, D) 라는 4‑변량 공동분포를 가정하고, M을 도메인 메타데이터(예: annotator 정보, 스타일 설명)로 두어 테스트 시점에 활용 가능하도록 설계한다.

핵심 이론은 세 가지 위험(Risk) 정의에 기반한다. ① No‑Domain Info (풀링‑ERM)에서는 f(x)만 사용해 평균 도메인 P(X,Y) 에 대한 베이즈 위험 R*_pool 을 최소화한다. ② Partial Domain Info (DI‑ERM)에서는 f(x,m) 를 학습해 P(Y|X,M) 에 대한 베이즈 위험 R*_DI 을 얻으며, 이는 R*_pool 보다 작거나 같다. ③ Full Domain Info (이론적 최적)에서는 f(x,d) 를 사용해 P(Y|X,D) 에 대한 위험 R*_full 을 정의한다.

Proposition 1은 위험 계층 R*_pool ≥ R*_DI ≥ R*_full 을 증명하고, 이후 Definition 1의 ‘점별 마진(γ)’을 도입해 위험 차이를 정량화한다. Theorem 1은 후방 변동이 존재하고, 마진이 충분히 큰 경우 R*_pool − R*_DI ≥ E