모델 붕괴를 넘어: 오염된 데이터로 반복 학습 시 성능 향상의 통계적 메커니즘

초록

본 논문은 실제 데이터와 합성 데이터가 섞인 데이터셋으로 반복 학습을 수행할 때, 충분한 양의 실제 데이터가 존재한다면 모델 붕괴를 피하고 장기적으로 성능을 개선할 수 있음을 통계적 분석을 통해 입증한다. 특히 혼합 비율과 샘플 크기의 상호작용을 정량화하고, 실제 데이터 비율이 일정하거나 완만히 감소하는 경우 일관성(consistency) 혹은 점진적 개선(iterative improvement)을 보장한다. 시뮬레이션 결과는 이론을 다양한 모델에 일반화할 수 있음을 보여준다.

상세 분석

논문은 반복 학습(iterative training) 과정에서 데이터가 두 가지 출처, 즉 진짜 데이터 분포 (P^{})와 이전 모델이 생성한 합성 데이터 분포 (\hat P_{t})의 혼합으로 구성된다고 가정한다. 각 단계 (t)에서 데이터는 (\alpha_{t}P^{}+(1-\alpha_{t})\hat P_{t}) 로 모델링되며, (\alpha_{t})는 실제 데이터 비율을 의미한다. 핵심은 이 혼합 모델 하에서 파라미터 추정기의 위험(R_{t}=E|\hat\theta_{t}-\theta^{*}|_{2}^{2})가 어떻게 변하는지를 정확히 기술한 점이다.

Theorem 3.1은 위험의 재귀식을
\