합성 데이터 학습에서 ERM의 한계와 대안

초록

본 논문은 자연 데이터에 LLM이 생성한 합성 데이터가 섞여 들어가는 상황을 모델링하고, 전통적인 경험적 위험 최소화(ERM) 방법이 평균 추정 및 PAC 학습에서 최적이 아님을 보인다. 평균 추정에서는 균등 가중치(ERM)가 모든 오염 비율에서 최소분산 추정이 아니며, 특정 가중치 전략이 더 낮은 분산을 달성한다. PAC 학습에서는 1‑차원 임계값 문제를 통해 ERM이 일반화 오류를 감소시키지 못함을 증명하고, VC 차원이 유한한 모든 클래스에 대해 오염 비율에 관계없이 오류를 수렴시키는 두 가지 대체 알고리즘을 제시한다.

상세 분석

논문은 먼저 합성 데이터 오염을 파라미터 α로 정량화한다. α=0은 순수 자연 데이터, α=1은 완전 재귀적 오염(이전 모델이 생성한 데이터만 사용)이다. 평균 추정 문제에서는 각 라운드 t에서 관측값 Xₜ가 αY_{t‑1}+(1‑α)μ+U 형태로 모델링된다. 여기서 U는 평균 0, 공분산 Σ를 갖는 잡음이다. ERM은 모든 라운드의 샘플을 균등하게 평균내는 방식이며, 이는 편향이 없고 무편향 추정량을 제공한다. 그러나 저자는 정밀한 분산 식을 유도해 V(Y_t)= (1/t² + Γ(t+α)Γ(t+1)/(2t‑1)∑_{k=1}^t Γ(k+1)k·Γ(k+α)/2) Σ 로 표현한다. α가 0.5 이하일 때는 분산이 Θ(1/t)로 감소하지만, α>0.5이면 t^{2(1‑α)}에 비례하는 항이 지배적이 되어 수렴 속도가 급격히 악화된다. 특히 α=1에서는 기존 연구와 일치하게 π²/6·Σ라는 상수 분산에 수렴한다. 이를 통해 균등 가중치가 모든 경우에 MVUE가 아님을 보이며, 비균등 가중치(예: 초기 라운드에 높은 가중치를 부여) 전략이 특정 α 구간에서 더 낮은 분산을 달성함을 증명한다.

PAC 학습 부분에서는 실현 가능한 설정에서 가설 클래스 F의 VC 차원을 가정한다. 학습 알고리즘 A는 현재 데이터셋과 이전 라운드의 가설들을 입력받아 새로운 가설을 출력한다. 저자는 1‑차원 임계값(Threshold) 문제를 통해 ERM이 반복 적용될 경우 일반화 오류가 α>1/2에서 정체되는 구체적인 하한을 제시한다. 이는 전통적인 ERM이 “데이터 오염” 상황에서 일반화 보장을 잃는다는 강력한 부정 결과다.

그럼에도 불구하고, 저자는 두 가지 비ER M 알고리즘을 설계한다. 첫 번째는 “가중치 재조정” 방식으로, 각 라운드에서 이전 가설이 생성한 샘플에 대해 낮은 신뢰도를 부여하고, 자연 데이터에 더 큰 가중치를 부여한다. 두 번째는 “버전 관리” 방식으로, 각 라운드의 가설을 별도로 저장하고, 최종 예측 시 다수결 혹은 가중 평균을 통해 결합한다. 두 방법 모두 α에 관계없이 일반화 오류가 O(1/√t) 혹은 더 빠르게 수렴함을 증명한다(정리 6, 7). 이때 계산 복잡도는 무시했으며, 이론적 가능성을 강조한다.

전체적으로 논문은 합성 데이터가 학습 파이프라인에 침투함에 따라 전통적인 ERM이 통계적 효율성과 일반화 보장에서 취약해짐을 수학적으로 명확히 보여준다. 또한, 오염 비율 α에 대한 정밀한 분석과, 이를 극복할 수 있는 가중치 설계 및 앙상블 전략을 제시함으로써, 실무에서 합성 데이터와 자연 데이터를 혼합해 사용할 때 고려해야 할 중요한 설계 원칙을 제공한다.