방어적 생성으로 온라인 결과 구분 불가능성 달성

본 논문은 “Defensive Generation”이라는 알고리즘을 통해 온라인 환경에서 관측 데이터와 사전 정의된 무한 테스트 집합에 대해 위조될 수 없는(구분 불가능한) 생성 모델을 효율적으로 학습하는 방법을 제시한다. 연구 배경으로는 전통적인 지도 학습이 손실 최소화에 초점을 맞추는 반면, 결과 구분 불가능성(Outcome Indistinguishability, OI)은 생성 모델이 어떠한 계산 가능한 테스트에도 실제 데이터와 구별되지 않도록 하는 새로운 평가 기준을 제공한다는 점을 들었다. 논문은 먼저 OI의 형식적 정의를 제시한다. 매 타임스텝 \(t\)에 학습자는 특징 \(x_t\)를 보고, 조건부 분포 \(\mu_t\)와 보조 통계 \(p_t\)를 생성한다. 이후 자연이 실제 결과 \(y_t\)를 공개한다. 테스트 함수 집합 \(\mathcal{F}\)가 RKHS에 속한다면, 모든 \(f\in\mathcal{F}\)에 대해 \