계층적 모호성 집합을 이용한 스퓨리어스 상관관계 완화

초록

본 논문은 기존 Group DRO가 그룹 간 비율 변동에는 강인하지만, 소수 그룹 내부의 분포 변화에는 취약하다는 문제를 지적한다. 이를 해결하기 위해 그룹 비율과 각 그룹 내 분포를 동시에 고려하는 계층적 모호성 집합을 제안하고, 워서스테인 거리 기반의 효율적인 미니맥스 알고리즘을 설계한다. 새로운 벤치마크 실험에서 제안 방법은 소수 그룹의 내부 변동까지 견디며, 기존 방법들을 능가하는 성능을 보인다.

상세 분석

이 연구는 스퓨리어스 상관관계가 존재하는 데이터셋에서 모델이 특정 그룹에 과도하게 의존하는 현상을 완화하려는 목적을 갖는다. 기존의 Group DRO는 각 그룹을 고정된 조건부 분포 P_g 로 가정하고, 그룹 비율 α 의 변동만을 모호성 집합에 포함한다. 그러나 소수 그룹은 샘플 수가 적어 학습된 P_g 가 실제 테스트 분포와 크게 차이날 수 있다. 논문은 이를 “intra‑group shift”라 명명하고, 이러한 변동을 무시하면 최악 그룹 성능이 급격히 저하된다는 실험적 증거를 제시한다.

제안된 계층적 모호성 집합 Q 은 두 단계로 구성된다. 1단계는 그룹 비율 β 가 단순히 α 와 차이 나는 정도를 제한하는 제약 d₁(β,α) ≤ ρ 이며, 여기서 ρ를 무한대로 설정해 최악‑그룹 정확도 평가와 동일하게 만든다. 2단계는 각 그룹별 조건부 분포 Q_g 가 원래 P_g 와 워서스테인 거리 d₂(Q_g,P_g) ≤ ε_g 이라는 반경 안에 있음을 강제한다. 이때 ε_g 는 그룹마다 다르게 설정 가능해, 소수 그룹에 대해 더 넓은 반경을 부여함으로써 내부 변동을 포괄한다.

워서스테인 거리 선택은 중요한 설계 선택이다. f‑divergence 기반 모호성 집합은 경험적 분포의 유한 지원 때문에 재가중치에만 제한되지만, 워서스테인은 지원 자체를 이동시킬 수 있어 소수 그룹의 미세한 특성 변화를 모델링한다. 논문은 이론적 근거와 함께, 워서스테인 비용 함수를 잠재 공간에서 정의해 의미 있는 변화를 캡처한다.

알고리즘적으로는 기존 Group DRO의 이중 최적화 구조를 확장한다. 외부 루프에서는 β 와 ε_g 에 대한 라그랑주 승수를 업데이트하고, 내부 루프에서는 각 Q_g 에 대한 워서스테인 정규화 문제를 해결한다. 저자는 이 과정을 교대 최적화(Alternating Optimization) 형태로 구현하고, 샘플링 기반 근사와 엔트로피 정규화를 결합해 계산 복잡도를 O(N·G) 수준으로 유지한다.

실험에서는 Waterbirds, CelebA 등 기존 스퓨리어스 상관관계 벤치마크에 더해, 소수 그룹을 의도적으로 재분할하거나 데이터 양을 감소시켜 “minority‑group shift” 상황을 만든 새로운 설정을 도입한다. 이 설정에서 기존 Group DRO, JTT, PG‑DRO 등은 최악 그룹 정확도가 급락하지만, 제안 방법은 평균 5‑10% 포인트 이상의 개선을 보이며, 표준 설정에서도 동일하거나 약간 우수한 성능을 기록한다. 특히 소수 그룹 내 변동이 큰 경우 ε_g 를 크게 설정한 버전이 가장 효과적이었다.

한계점으로는 ε_g 의 하이퍼파라미터 선택이 데이터마다 민감할 수 있다는 점과, 워서스테인 거리 계산이 고차원 특성 공간에서 비용이 높아질 가능성이 있다는 점을 인정한다. 향후 연구에서는 자동화된 ε_g 튜닝 혹은 메타러닝 기반 적응 방식을 탐색할 여지가 있다.

전반적으로 이 논문은 스퓨리어스 상관관계 완화 연구에서 “그룹 내부의 불확실성”을 명시적으로 모델링함으로써, 기존 방법이 놓치던 중요한 실패 모드를 해결한다는 점에서 의미가 크다.