도메인 간 이미지 분류를 위한 인과 기반 특징 평가

초록

본 논문은 도메인 불변성만을 추구하는 기존 OOD 일반화 방법의 한계를 인과관점에서 재조명한다. 저자는 학습된 표현을 ‘필요성·충분성’(PNS) 확률로 평가하는 세그먼트‑레벨 프레임워크를 제안하고, 공유된 잠재 세그먼트 구조를 갖는 생성 모델을 통해 도메인 간 의미적 정렬을 확보한다. 실험 결과, 제안 방법은 다양한 멀티‑도메인 벤치마크에서 특히 강한 도메인 변화를 겪는 상황에서 OOD 성능을 일관되게 향상시킨다.

상세 분석

이 논문은 “관측적 불변성(invariance) ≠ 인과적 효용”이라는 근본적인 가정을 명확히 하고, OOD 일반화에서 진정으로 필요한 것은 도메인에 관계없이 예측에 원인‑결과 관계를 유지하는 특징이라는 점을 강조한다. 저자는 이를 정량화하기 위해 Pearl의 Probability of Necessity and Sufficiency(PNS)를 차용하고, 각 잠재 세그먼트가 예측에 미치는 인과적 기여도를 직접 측정한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째 단계에서는 입력을 K개의 세그먼트(z^(1)…z^(K))로 분해하는 구조화된 잠재 공간을 학습한다. 이를 위해 인코더 E와 디코더 G를 동시에 훈련시켜 재구성 손실과 라틴 사이클 일관성 손실을 최소화함으로써, 서로 다른 도메인에서도 동일한 세그먼트가 동일한 추상 요인(C(k))을 나타내도록 강제한다. 이렇게 의미적으로 정렬된 세그먼트는 “좌표‑별” 개입(do‑연산)이 실제로 동일한 인과 변수에 대한 개입으로 해석될 수 있다. 두 번째 단계에서는 학습된 분류기 g를 고정하고, 각 세그먼트를 인위적으로 교체하거나 제거함으로써 PNS를 추정한다. 구체적으로, 세그먼트 k를 임의값 \tilde{z}^(k)로 대체한 후 예측이 변하는 비율을 측정해 필요성(N)과 충분성(S)을 계산하고, PNS = N × S 로 정의한다. 이 점수는 도메인 S_tr 내에서 추정되지만, 세그먼트가 의미적으로 정렬돼 있기 때문에 동일 점수가 미보인 목표 도메인 T 에서도 동일하게 적용될 것으로 기대한다. 논문은 또한 좌표 재파라미터화 문제를 상세히 논의한다. 일반적인 고차원 표현은 좌표 변환에 따라 인과적 해석이 달라질 수 있는데, 세그먼트‑레벨 구조를 도입함으로써 이러한 변환이 세그먼트 전체에 걸쳐 동일하게 적용되도록 보장한다. 실험에서는 PACS, VLCS, Office‑Home 등 여러 멀티‑도메인 이미지 데이터셋을 사용해, 기존 IRM, GroupDRO, SWAD 등과 비교했을 때 평균 정확도가 2~5%p 상승함을 보고한다. 특히, 도메인 간 색상·스타일 변동이 큰 경우(예: Sketch → Photo)에서 제안 방법이 가장 큰 이점을 보였다. 전체적으로, 이 연구는 “불변성”을 넘어 “인과적 효용”을 측정·활용함으로써 OOD 일반화의 새로운 평가 기준을 제시하고, 구조화된 잠재 공간을 통한 세그먼트 정렬이 그 전제조건임을 실증한다.