안정적인 특성 선택을 위한 인과 가이드 확산

초록

CGDFS는 특성 선택을 환경 간 안정성을 고려한 베이지안 후방 추정 문제로 재정의하고, 연속형 선택 마스크에 대한 확산 모델을 사전으로 학습한다. 환경별 예측 손실의 평균과 분산을 결합한 안정성 기반 우도함수를 정의한 뒤, 확산 사전과 우도 그래디언트를 결합한 annealed Langevin 샘플링으로 후방 분포를 근사한다. 실험 결과, 기존 스파스, 트리 기반, 안정성 선택 방법보다 OOD 성능과 선택 견고성이 우수함을 보인다.

상세 분석

본 논문은 기존 특성 선택 방법이 단일 데이터 분포에서의 예측 정확도만을 최적화함으로써, 분포 이동 시 쉽게 무의미한(스퓨리어스) 특성을 선택하는 문제점을 지적한다. 이를 해결하기 위해 저자들은 인과 불변성(causal invariance)의 원리를 “소프트 인덕티브 바이어스”로 활용하고, 특성 선택을 “안정성을 고려한 베이지안 후방 추정”으로 전환한다. 핵심 아이디어는 세 가지이다.

첫째, 특성 집합을 이산 벡터 z∈{0,1}^p 가 아니라 연속 마스크 s∈