워서스테인 분포 강건 온라인 학습의 이론과 효율적 계산법

본 논문은 데이터가 순차적으로 유입되는 환경에서 최악의 분포를 고려한 위험 회피형 온라인 학습 문제를 다룹니다. 워서스테인 거리 기반의 분포 불확실성 집합을 설정하고, 이를 의사 결정자와 적대자 간의 온라인 안장점 게임으로 재구성합니다. 제안된 프레임워크는 오프라인 워서스테인 DRO 문제의 해에 수렴함을 보장하며, 주요 계산 병목인 최악의 기대값 문제를 조각별 오목 손실 함수에 대해 고전적인 예산 할당 문제로 환원하는 혁신적 알고리즘을 제시하여…

저자: Guixian Chen, Salar Fattahi, Soroosh Shafiee

본 논문은 기계학습과 의사결정 이론의 중요한 패러다임인 분포 강건 최적화(DRO)를 온라인 및 순차적 데이터 환경으로 확장합니다. 표준 경험적 위험 최소화(ERM)나 온라인 볼록 최적화(OCO)는 평균 성능에 초점을 맞춰 분포 변화나 이상치에 취약한 단점이 있습니다. 워서스테인 DRO는 데이터 공간의 기하학적 구조를 반영하는 워서스테인 거리를 사용해 불확실성 집합을 정의함으로써, 국소적 섭동에 대한 강건성과 통계적 일반화 성능을 동시에 보장합니다. 그러나 기존 연구는 주로 오프라인 배치 학습에 집중되어 있어, 추천 시스템이나 실시간 금융 포트폴리오 관리와 같이 데이터가 연속적으로 유입되는 동적 환경에 적용하기 어려웠습니다. 논문은 이 문제를 해결하기 위해 이론과 계산 두 측면에서 기여합니다. 먼저 1장 서론과 2장 문제 설정에서 연구 배경과 정형화를 소개합니다. 학습자는 매 시점 t마다 참 분포 P*에서 추출된 샘플 ξ̂_t를 관측하고, 이전까지의 관측치로 구성된 경험적 분포 P̂_t를 중심으로 한 워서스테인 불확실성 집합 B_p^ρ(P̂_t) 내에서 최악의 분포 Q_t를 선택하는 적대자와 게임을 합니다. 학습자의 목표는 최악의 기대 손실 E_{ξ∼Q_t}

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기