환경 조건부 꼬리 가중치 기반 TV‑IRM으로 OOD 일반화 강화

초록

본 논문은 환경 수준의 인버리언스와 환경 내부의 희귀·고난이도 샘플에 대한 강인성을 동시에 만족시키는 새로운 프레임워크 ECTR을 제안한다. 전체 변동성(TV) 기반 IRM에 환경별 꼬리 재가중치를 결합하고, 환경별 KL 정규화를 통해 가중치 집중을 억제한다. 또한 환경 라벨이 없을 경우 잠재 환경을 추정하는 미니맥스 구조를 제공한다. 회귀, 표형, 시계열, 이미지 분류 등 다양한 베치마크에서 최악 환경과 평균 OOD 성능 모두 향상됨을 실증한다.

상세 분석

ECTR은 기존 TV‑IRM이 환경 전체 위험에 대해 평균화된 제약을 두는 한계를 인식하고, “샘플‑레벨 이질성”을 직접 다루는 꼬리 재가중치 메커니즘을 도입한다. 구체적으로, 미니배치 내 모든 샘플에 대해 스코어 s_i를 출력하는 가중치 적대자 θ를 학습하고, softmax를 통해 전역 확률 π_θ(i)를 만든다. 이후 각 샘플의 환경 소속 m_{i,e} (알려진 경우는 원-핫, 추정된 경우는 q_η(e|i))와 곱해 환경별 조건부 확률 π_θ(i|e)=π_θ(i)·m_{i,e}/mass_e 를 정의한다. 여기서 mass_e는 해당 환경에 할당된 전체 확률 질량이다. 이렇게 하면 “hard” 혹은 “rare” 샘플에 높은 가중치를 부여하면서도, 환경 간 가중치 비율은 유지된다.

환경‑조건부 꼬리 위험 R_{e,θ}(w∘Φ)=∑_i π_θ(i|e)·ℓ(w∘Φ(x_i),y_i) 를 구하고, 메인 위험은 모든 환경의 평균으로 설정한다. 핵심은 TV‑ℓ₁ 인버리언스 패널티를 동일한 꼬리 위험에 대해 적용한다는 점이다. 즉, 더 이상 환경‑전체 평균 위험에 대해 stationarity를 검증하는 것이 아니라, 각 환경 내부에서 강조된 꼬리 위험에 대해 ∇w R{e,θ}의 L1 노름을 최소화한다. 이를 통해 환경‑레벨 인버리언스와 샘플‑레벨 강인성이 자연스럽게 결합된다.

가중치 집중을 방지하기 위해 환경별 KL 정규화 KL_env(θ)=∑e KL(π_θ(·|e)‖Uniform_e) 를 도입한다. Uniform_e는 해당 환경 내에서 균등 분포이며, 추정된 환경에서는 m{i,e}를 detach하여 KL이 오직 θ에만 영향을 주도록 설계했다. 이 정규화는 가중치가 특정 소수 샘플에 과도하게 몰리는 것을 억제하고, 학습 안정성을 크게 향상시킨다.

환경 라벨이 없을 경우, 추가 적대자 η가 q_η(e|i) 를 학습해 소프트 환경 할당을 제공한다. 이때 전체 목표는
min_Φ max_{θ,Ψ,η}  E_e