생성형 모형 기반 분포 강인 최적화

초록

**
본 논문은 생성 모델(확산 모델·VAE)을 활용해 새로운 모호성 집합(GAS)을 정의하고, 이를 기반으로 내재된 최악 상황을 효율적으로 탐색하는 GAS‑DRO 알고리즘을 제안한다. 이 방법은 기존 φ‑divergence·Wasserstein 기반 모호성 집합의 지원 제한·계산 복잡성을 극복하면서, 파라미터화된 유한 공간에서 최적화를 수행한다. 이론적으로 내부 최대화의 수렴성을 증명하고, 시계열 예측·이미지 분류 실험에서 OOD 일반화 성능이 기존 최첨단 DRO 방법보다 우수함을 실증한다.

**

상세 분석

**
본 연구는 분포 강인 최적화(DRO)의 핵심인 ‘모호성 집합(ambiguity set)’ 설계에 새로운 패러다임을 제시한다. 기존의 φ‑divergence 기반 집합은 P≪P₀(절대 연속성)이라는 제약으로 지원이 동일한 경우에만 적용 가능해, 지원 이동(support shift) 상황에서 최악 분포 탐색이 제한된다. 반면 Wasserstein 거리 기반 집합은 지원 제한이 없지만, 무한 차원의 확률 공간을 직접 최적화해야 하므로 계산 비용이 급증하고, 종종 과보수적인 근사화에 의존한다.

논문은 이러한 딜레마를 ‘생성형 모형 기반 모호성 집합(GAS)’이라는 형태로 해결한다. 핵심 아이디어는 확산 모델·VAE와 같은 확률 생성 모델이 데이터 분포를 고차원 파라미터 θ에 매핑한다는 점이다. 따라서 모호성 집합을 “θ가 특정 제약을 만족하는 모든 파라미터 집합”으로 정의하면, (1) 모델이 학습한 원본 분포와 일관된(consistent) 샘플을 생성하도록 KL·역 KL 제약을 부여하면서, (2) 모델의 생성 능력 덕분에 원본 지원을 넘어서는 다양하고 현실적인 분포를 탐색할 수 있다.

GAS‑DRO 알고리즘은 다음과 같이 구성된다.

1. 내부 최대화: 주어진 손실 f(w,·)에 대해 파라미터 θ를 조정해 최악의 기대 손실을 최대화한다. 이 단계는 dual learning과 정책 최적화(policy‑optimization) 기법을 도입해, θ‑공간에서의 gradient ascent를 수행한다. 논문은 Lemma 1을 통해 역 KL 제약이 유지되는 θ 업데이트가 가능함을 보이고, Theorem 1에서 이 내부 최적화가 최적 오라클에 수렴함을 증명한다.
2. 외부 최소화: 내부 최적화가 제공한 최악 분포에 대해 결정 변수 w를 일반적인 SGD/Adam 등으로 업데이트한다. Theorem 2는 전체 알고리즘이 stationary point에 수렴한다는 점을 보장한다.

이론적 기여 외에도 실험적 검증이 충실하다. 저자는 확산 모델을 이용해 시계열 예측(예: 전력 수요)과 이미지 분류(CIFAR‑10, ImageNet‑subset)에서 GAS‑DRO를 적용하였다. 비교 대상은 KL‑DRO, Wasserstein‑DRO, Sinkhorn‑DRO, 그리고 최근 제안된 생성형 기반 DRA‑GEN 등이다. 결과는 (i) OOD 테스트 셋에서 정확도·손실이 평균 3‑5% 개선, (ii) 학습 시간은 기존 Wasserstein‑DRO 대비 2배 이하로 감소, (iii) 생성된 최악 분포가 시각적으로도 원본 데이터와 유사하지만, 라벨 변형·노이즈 추가 등으로 실제 위험 상황을 잘 모사한다는 점을 보여준다.

한계점으로는 (1) 파라미터화된 생성 모델 자체가 학습 데이터에 과적합될 위험, (2) 역 KL 제약을 만족시키는 θ 탐색이 여전히 비선형 최적화 문제라 초기값에 민감할 수 있음, (3) 확산 모델 훈련 비용이 높은 점을 들 수 있다. 향후 연구는 VAE·GAN·Normalizing Flow 등 다양한 생성 모델을 통합하고, 메타‑학습을 통해 모호성 집합의 크기 ε를 자동 조정하는 방향이 기대된다.

**